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本 书 英文 版 自 出 版 以 数 ,被 全 球 众多 著名 大 学 选 为 研究 生 “ 统 计 信 号 处 理 ” 课 程 的 教材 或 教学 参考 
书 。Poor 教 授 以 多 年 的 研究 积 注 和 教学 经 验 为 基础 撰写 了 本 书 ， 通 过 易于 理解 的 方式 ， 深 和 人 阐述 信号 检 
测 和 估计 理论 的 基本 思想 。 全 书 主要 包括 三 方面 的 内 容 ， 第 2、3、6 章 讲述 信号 检测 理论 的 基本 概念 ， 包 
括 离散 域 的 二 元 假设 检验 、 复 合 假设 检验 、 序 贯 检测 、 非 参数 检测 、 稳 健 检 测 ， 连 续 域 的 确 知 信号 检测 、 
部 分 参数 确 知 信号 检测 、 随 机 信号 检测 等 内 容 。 第 4 章 讲述 参数 估计 方法 ， 包 括 贝 叶 斯 参数 估计 方法 、 最 
大 似 然 估计 方法 、 非 随机 参数 估计 的 理论 结构 、 向 量 参数 估计 、 稳 健 参 数 估计 、 递 归 参 数 估计 等 内 容 。 第 
5、7 章 讲述 波形 估计 理论 ， 包 括 离散 域 的 Kalman-Bucy 滤波 、 线 性 因果 / 非 因果 Wiener-Kolmogorov iif 
波 ， 连 续 域 的 线性 /高 斯 估计 、 非 线性 滤波 等 内 容 。 本 书 最 为 突出 的 特点 是 提供 了 大 量 的 实例 ,无论 是 在 
离散 域 还 是 连续 域 ， 都 以 简单 实用 的 例子 来 描述 检测 与 估计 的 基本 理论 与 方法 ， 并 通过 应 用 实例 来 比较 各 
种 方法 的 异同 。 此 外 ， 每 章 都 有 大 量 习 题 ， 这 些 习 题 与 该 章 内 容 密切 相关 ， 很 多 习题 是 书 中 结论 的 证 明 或 
进一步 阅 述 ， 以 加 深 读 者 对 抽象 理论 的 理解 。 

本 书 要 求 读者 具备 理工 科研 究 生 基本 课程 中 关于 应 用 概率 论 及 随机 过 程 的 相关 知识 。 此 外 ， 在 教学 过 
程 中 ， 可 根据 需要 进行 内 容 取 舍 。 

参加 本 书 翻译 工作 的 主要 有 廖 桂 生 (前 言 , 第 1、2、4 章 ) 和 杨 志 伟 (第 3、5、6、7 章 )。 参 加 翻 
译 、 校 对 和 译 稿 资料 整理 工作 的 还 有 刘 志 凌 、 郭 小 路 、 谢 坚 、 党 博 、 李 东 、 栗 嘉 、 何 嘉吉 、 张 学 攀 、 许 京 
伟 、 高 永 婵 、 杨 东 、 束 宇 翔 、 杜 文 艳 。 全 书 由 雇 桂 生 进 行 审 校 。 

由 于 译 者 水 平 有 限 ， 书 中 难免 有 不 当 之 处 ， 敬 请 读者 批评 指正 。 
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本 书 旨 在 介绍 信号 检测 与 估计 的 基本 理论 。 读 者 在 阅读 本 书 时 ， 应 当 具 备 理 工科 研究 生 第 一 学 期 基本 
课程 中 关于 应 用 概率 论 及 随机 过 程 的 相关 知识 。 这 些 预备 知识 可 以 参考 Wong (1983) 的 著作 。 信 号 检测 
与 估计 理论 所 涉及 的 更 复杂 的 概念 将 主要 在 第 6 章 和 第 7 章 中 介绍 ， 包 括 连 续 时间 信 和 号 检测 和 估计 问题 。 

本 书 改编 自 伊利 诺 伊 大 学 和 普林斯顿 大 学 一 个 学 期 的 第 二 阶段 研究 生 课 程 。 如 果 将 授课 范围 限制 在 第 
1~5 章 ， 本 书 也 可 用 于 短期 课程 或 者 第 一 阶段 课程 ， 此 时 仅 要 求 读者 具备 应 用 概率 论 的 基本 知识 ， 包 括 
随机 向 量 和 条 件 期 望 等 概念 。 为 了 获取 足够 的 背景 知识 ， 读 者 可 以 参考 Thomas (1986) 的 著作 。 

此 外 ， 还 可 以 以 其 他 教学 模式 使 用 本 书 。 例 如 ,第 2、3、6 章 可 用 于 介绍 信号 检测 的 短期 课程 ， 第 
4、5、7 章 可 用 于 介绍 信号 估计 的 短期 课程 。 类 似 地 ， 还 可 以 将 第 1 章 和 第 4 章 用 于 人 门 级 课程 ， 而 将 第 
5 章 和 第 7 章 用 于 高 级 课程 。 

在 第 2 版 的 筹备 过 程 中 ,听取 了 很 多 读者 的 意见 和 建议 。 由 于 人 数 众 多 ， 在 此 不 便 一 一 列 出 ,但 要 对 
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信号 检测 与 估计 是 信号 处 理 的 一 个 研究 领域 ， 其 目的 是 从 信号 中 提取 需要 的 信息 。 信 
号 检测 与 估计 的 相关 理论 已 在 通信 、 自 动 控制 等 领域 得 到 广泛 应 用 。 例 如 ， 在 雷达 和 数据 
传输 等 通信 和 领域， 信号 检测 和 估计 是 设计 高 效 通信 接收 机 的 理论 基础 和 分 析 工 具 。 此 外 ， 
在 自动 控制 领域 ， 检 测 与 估计 理论 是 精确 推断 进程 状态 和 进行 系统 控制 的 基础 。 

雷达 是 检测 与 估计 技术 的 一 个 应 用 实例 。 雷 达 的 基本 工作 方式 是 发 射 一 个 电磁 脉冲 信 
号 ， 然 后 等 待 目标 可 能 反射 的 回 波 信号 。 受 接收 机 噪声 、 大 气 扰动 、 地 面 和 其 他 目标 寄生 
反射 以 及 信号 失真 等 因素 的 影响 ， 往 往 无 法 绝对 准确 地 判断 目标 是 否 存在 。 因 此 ， 必 须根 
据 接收 天 线 输出 的 ( 非 理想 的 ?观测 结果 来 推断 目标 是 否 存在 ， 此 时 ， 基 于 检测 理论 可 设计 
出 最 优化 的 检测 方法 。 进 而 ， 在 判断 出 目标 以 某 种 概率 存在 之 后 ， 还 希望 估计 目标 的 一 些 
特性 ， 比 如 位 置 和 速度 等 ， 而 这 在 广义 上 属于 估计 理论 的 范畴 。 上 述 估计 结果 可 用 于 控制 
天 线 以 跟踪 目标 或 者 远程 控制 目标 以 实现 特定 航 迹 飞行 。 检 测 估计 技术 的 其 他 具体 应 用 还 
包括 地 震 学 、 射 电 天 文学 、 声 呐 、 语 音 和 图 像 处 理 、 医 学 信号 处 理 及 光 通 信 等 。 

在 检测 与 估计 技术 的 实际 应 用 中 ， 通 常会 涉及 基于 观测 值 的 推断 处 理 ， 并 且 这 些 观测 
值 往往 存在 不 明 原 因 导 致 的 失真 和 缺损 ， 甚 至 从 这 些 观 测 值 中 提取 的 信息 也 是 未 知 的 。 因 
此 ， 将 检测 和 估计 问题 置 于 概率 框架 下 处 理 是 非常 有 效 的 ， 此 时 可 以 将 未 知 因素 作为 随机 
量 来 处 理 。 就 此 而 论 ， 在 统计 推断 领域 内 研究 检测 估计 理论 非常 适合 ， 并 且 在 本 书 的 论述 
过 程 中 都 将 以 这 种 方式 进行 曾 述 。 

言 号 检测 与 估计 理论 学 习 中 的 一 个 基本 概念 是 随机 观测 量 Y， 它 取 值 于 观测 值 集合 T, 
其 中 厂 可 以 是 向 量 的 集合 、 波 形 的 集合 、 实 数 的 集合 或 者 其 他 任意 集合 。 我 们 期 望 从 观测 
HY 中 提取 有 关 Y 的 一 些 特征 信息 。 本 书 主要 关注 两 类 问题 ， 检测 问题 和 估计 问题 。 在 
检测 问题 中 ， 我 们 期 望 基于 一 些 有 限 数量 的 可 能 情况 或 “自然 状态 ”做 出 判决 ; 在 估计 问题 
中 ， 我 们 期 望 对 一 些 无 法 直接 观测 的 量 进行 估 值 。 在 上 述 两 类 问题 中 ， 观 测 值 和 待 提 取信 
息 之 间 的 关系 均 是 概率 性 的 ， 而 不 是 直接 必然 的 ， 在 此 意义 上 而 言 ，Y 的 统计 特性 受 其 自 
然 状 态 或 待 估计 量 的 真实 值 影响 。 因 此 ， 在 建立 检测 /估计 模型 时 ， 必 须 涉及 基于 本 的 一 
族 概率 分 布 ， 其 中 各 元 素 均 对 应 不 同 自然 状态 或 在 不 同 待 佑 计量 值 下 所 呈现 的 统计 状态 。 
检测 /估计 模型 一 旦 建立 ， 则 相应 的 检测 /估计 问题 的 目标 即 转化 为 找到 一 种 处 理 观 测量 Y 
的 最 优 方 式 ， 以 便 提取 所 需 信 息 。 区 分 这 类 问题 的 基本 特征 包括 : 等 估计 信息 的 性 质 ( 离 
散 或 连续 ) ， 关 于 待 估 计量 或 自然 状态 的 先 验 信 息 的 多 少 ， 以 及 用 于 比较 不 同 检测 佑 计 过 
程 的 性 能 指标 。 

本 书 旨 在 向 读者 介绍 检测 与 估计 理论 的 基本 原理 。 第 2 章 、 第 3 章 和 第 6 章 主要 讨论 
信号 估计 的 相关 问题 。 第 2 章 介绍 二 元 假设 检验 的 基础 知识 ， 这 部 分 知识 是 大 多 数 信号 检 
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测 问题 的 基础 。 第 3 章 将 应 用 上 述 基础 知识 针对 特定 的 信号 检测 模型 推导 最 优 检测 器 并 分 
析 其 检测 性 能 。 此 外 ， 第 3 章 还 将 讨论 用 于 处 理 非 标准 情况 下 信号 检测 问题 的 几 种 特殊 信 
号 检测 方法 。 第 2 章 和 第 3 章 主要 讨论 观测 值 为 向 量 时 的 情况 ， 它 与 基于 离散 时 间 观 测 值 
(采样 观测 值 ) 的 信号 检测 问题 相对 应 。 基 于 连续 时 间 观 测 值 的 信号 检测 问题 将 在 第 6 章 中 
进行 讨论 。 连 续 时 间 模 型 的 信号 检测 问题 虽然 与 离散 时 间 模 型 在 本 质 上 相同 ， 但 是 由 于 对 
于 这 类 问题 的 分 析 中 涉及 了 更 复杂 的 分 析 方 法 ， 因 此 将 对 其 进行 单独 讨论 。 第 4 章 、 第 5 
章 和 第 7 章 讨论 估计 问题 。 第 4 章 中 给 出 了 参数 估计 问题 的 基本 原理 和 结构 。 与 信号 检测 
类 似 ， 由 于 分 析 难 度 不 同 ， 所 以 对 离散 时 间 估 计 ( 第 4 章 、 第 5 章 ) 和 连续 时 间 估计 (第 7 
章 ) 分 别 进行 了 讨论 。 

符号 说 明 

为 了 详细 描述 观测 集合 本 的 概率 分 布 ， 需 要 对 本 的 子 集 进行 概率 分 配 。 对 于 某 些 观测 
空间 而 言 ， 无 法 为 卫 的 所 有 子 集 分 配 一 致 的 概率 值 ， 因 此 ， 我 们 总 是 将 卫 与 它 的 一 类 子 集 
9 联系 在 一 起 ， 并 期 望 对 这 类 子 集 进 行 概率 分 配 。89 中 的 集合 称 为 观测 结果 ， 而 组 合 (了 ， 
9) 则 称 为 观测 空间 。 为 了 便于 分 析 ， 始 终 假设 9 满足 = 代数 ， 即 假设 9 包含 所 有 补 集 (关于 
DP) 和 其 元 素 的 可 数 并 集 。2 

本 书 主要 关注 (T，9) 的 两 种 情况 。 第 一 种 情况 是 二 R"， 即 丁 为 n 维 实 向 量 的 集合 ; 
第 二 种 情况 是 本 为 离散 (可 数 ) 集 合 ， 且 本 二 {7X;，7Y:，…}。 在 第 一 种 情况 中 ， 很 自然 地 期 
AAT MM y=Cyis o> yn ER" |a Ky Kb, s anr Ky Ke REDMAR, H, 
a; Mb; HAREM. Alt, HFrSR, HORA a: Mo, 所 确定 的 全 部 子 集 的 最 小 
6 代数， 其中，a 和 5b; 在 整个 实数 范围 内 取 值 。 这 类 c 代数 一 般 用 BB" 表示 ， 称 为 R" 中 的 
Borel 集合 。 对 于 第 二 种 情况 ， 可 以 将 9 定义 为 卫 的 所 有 子 集 。 这 类 o 代数 一 般 用 2" 表示 ， 
称 为 卫 的 寡 集 合 。 在 上 述 两 种 观测 空间 内 足以 描述 第 2 章 一 第 5 章 中 所 讨论 的 大 部 分 离散 
时 间 检 测 与 估计 问题 。 如 无 特别 说 明 ， 均 假设 (P，9) 属 于 上 述 两 种 情况 之 一 。 在 讨论 连续 
时 间 的 检测 估计 问题 时 会 涉及 更 为 抽象 的 观测 空间 ， 相 关内 容 会 在 第 6 章 和 第 7 章 加 以 
介绍 。 

对 于 离散 观测 空间 (T，2")， 以 概率 质量 函数 的 形式 为 厂 中 的 子 集 分 配 概率 ， 即 p: 
T>[0, 1], H 

P(A) = Dp), AER C1. 1) 


其 中 ，P(A) 表 示 观 测量 Y 的 取 值 位 于 集合 A 中 的 概率 。 如 果 满 足 条 件 en =1, M 


He PBR BILO, 1] AOE Re By HE BY HE I eR. AE NS ACR", Br), WER 
关注 所 谓 的 连续 随机 向 量 ， 且 可 按照 概率 密度 函数 的 形式 对 其 进行 概率 分 配 ， 即 p:R" 一 


P(A) =| pdy, AEB (1. 2) 





名 ”也 就 是 说 ，9 具 有 下 述 性 质 : #ACG, WHA EG( 本 书 中 上 标 c 表示 取 补 集 ); 车 A1，As，…E9， 则 有 
UAieg. 


第 1 章 引 = 


如 果 满足 条 件 | ,p(y)dy = 1 ， 则 将 R ECO, oo) fy EERE AT BRIS JE A AE 


度 函 数 。 为 了 简化 术语 和 公式 表述 ， 对 概率 质量 函数 和 概率 密度 函数 均 使 用 密度 一 词 ， 且 
将 式 (1. 1) 中 的 求 和 公式 和 式 (1. 2) 中 的 积分 公式 统一 用 下 述 公 式 表示 


PA) = | pOu) a. 3) 
其 中 ， 也 可 以 省 略 积分 变量 ， 将 上 式 进 一 步 简 写 为 
P(A) = | edu (1.4) 


对 于 以 随机 观测 量 Y 为 自 变 量 的 实 值 函数 g， 经 常 需要 求解 g(Y) 的 期 望 值 ， 即 
下 {g(Y)})。 对 于 离散 观测 空间 (PP，27)， 上 述 期 望 值 为 


E{g(Y)} = Emon (1.5) 
而 对 于 CR" ，1" ) 中 的 连续 随机 向 量 ， 有 
E{g(¥)} = | .gCy)pCy)dy (1.6) 


其 中 ， 对 于 每 一 种 情况 ， 均 假设 相应 的 求 和 或 积分 是 存在 的 。 同 样 地 ， 为 了 简化 公式 ， 采 
用 下 述 公 式 对 式 (1. DARA. 6) 进 行 统一 表述 


Elgi} = | EDP) = | god (1.7) 
对 上 述 公式 的 进一步 阐述 将 在 第 6 章 中 给 出 。 易 知 ， 式 (1. 3) 和 式 (1.4) 是 式 (1.7) 中 的 函 
数 g 按 下 式 定 义 时 的 特殊 情况 
1, vyEA 
= 1.8 
gly) f res ( ) 


在 后 续 的 讨论 中 ， 均 采用 大 写字 母 表示 随机 量 ， 并 采用 小 写字 母 表示 这 些 随机 量 的 特 
定 取 值 。 因 此 ， 本 书 的 表述 方式 为 : 随机 观测 量 Y 的 可 能 取 值 为 >。 
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2.1 引言 


大 多 数 信号 检测 问题 都 可 以 归结 为 M 元 假设 检验 问题 ， 这 一 假设 以 观测 数据 (可 用 向 
量 或 函数 表示 ) 为 基础 ， 通 过 判决 M 元 统计 信号 来 描述 观测 数据 。 例 如 ， 在 M 元 通信 接收 
系统 中 ， 观 测 数据 的 波形 为 M 元 信号 之 一 ， 该 信号 会 受到 随机 信道 或 接收 机 噪声 的 干扰 ， 
因此 我 们 期 望 通过 统计 判决 来 确定 可 表示 观测 数据 的 具体 信号 形式 。 显 然 ， 对 于 任意 给 定 
的 判决 问题 ， 都 有 一 系列 可 行 的 判决 策略 或 准则 可 以 应 用 ， 然 而 ， 本 书 希望 选择 一 种 在 某 
种 意义 上 是 最 优 的 判决 准则 。 尽 管 就 最 优 性 而 言 ， 存 在 多 种 定义 ， 但 本 章 仅 考虑 三 种 最 常 
见 的 准则 一 一 贝 叶 斯 准则 、 极 小 化 极 大 准则 和 尼 曼 -皮尔 还 准则 ， 并 推导 这 些 准 则 的 最 优 
解 。 为 了 不 失 一 般 性 ， 虽然 本 章 中 的 大 多 数 结论 可 直接 推广 到 M 元 假设 检验 (在 习题 中 会 
具体 探讨 )， 但 是 本 章 只 考虑 二 元 假设 检验 问题 。 第 3 章 和 第 6 章 将 详细 讨论 这 些 理论 在 
信号 检测 中 的 具体 应 用 。 


2.2 贝 叶 斯 假设 检验 


本 章 所 考虑 的 首要 问题 是 简单 的 二 元 假设 检验 问题 ， 它 有 两 种 可 能 的 假设 ， 称 为 “ 状 
态 或 类 型 >”， 即 A A 互 ; ， 分 别 对 应 观测 空间 (PP，929) 中 的 两 种 可 能 的 概率 分 布 P 和 Pio 
可 将 问题 描述 如 下 

| Ho:Y ~ P, 
MY = P, 
式 中 ， 记 号 “Y 一 P” 表 示 “Y WEP 分 布 "。 假 设 互 , 和 假设 H, 有 时 也 称 为 零 假 设 和 非 零 假 
设 。 关 于 假设 H, 和 假设 A, 的 判决 准则 6 将 观测 集 醋 分 成 TE9 和 二 夏 两 个 子 集 ， 如 
R j= 二 0 或 1 时 存在 yET;， 则 判决 假设 H, 成 立 。 RAT, 称 为 拒绝 域 ( 或 关键 域 )， 集合 
To 称 为 接受 域 。 也 可 将 判决 准则 6 看 成 是 由 下 式 给 出 的 在 集合 厂 上 的 函数 ， 即 
yen 
so = (2.2.2) 
0, yer 
对 给 定 的 yET，6 的 取 值 等 于 判决 规则 5 所 接受 假设 的 下 标 值 。 

本 章 旨 在 以 某 种 最 优 的 方法 选择 媚 ， 在 这 种 思路 的 指引 下 ， 需 要 对 不 同 判决 赋予 不 同 
的 代价 。 特 别 地 ， 假 设 正 数 C;G=0. 1, j=0, 1K H, 为 真 的 情况 下 ， 判 决 假设 
H, 成 立 所 需 付 出 的 代价 。 对 于 每 个 假设 ， 可 将 条 件 风 险 定义 为 : 当 该 假设 为 真 时 ， 由 判 
决 准则 所 引发 的 平均 代价 或 期 望 代价 ， 即 

RO = CP OP Ay F= OI (2. 2. 3) 


(2.2.1) 
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注意 ，Ri (6) 是 当 A; 为 真 时 选择 H, 的 代价 与 选择 H 的 概率 的 乘积 加 上 选择 H 的 
代价 与 选择 Ho 的 概率 的 乘积 。 

假设 H, 和 A, 的 概率 是 x, MS, Blo, ARH, 为 真 的 概率 ， 它 与 Y 的 取 
值 无 关 。 概 率 x, A om 也 称 为 两 种 假设 的 先 验 概率 。 给 定 先 验 概率 后 ， 平 均 风 险 或 贝 叶 斯 
风险 可 用 来 描述 判决 准则 5 的 总 平均 代价 ， 表 达 式 由 下 式 给 出 

rd) = x Ro) +m R (CO) (2. 2.4) 

根据 贝 叶 斯 风险 的 定义 ， 可 设计 关于 假设 Hy 和 假设 H, 的 最 优 判决 准则 ， 该 判决 准则 在 
所 有 判决 准则 中 具有 最 小 的 贝 叶 斯 风险 ， 称 为 关于 A 和 A, 的 贝 叶 斯 准则 。 

综合 式 (2. 2. 3) 和 式 (2. 2. 4) 并 利用 P; (Ti) 二 1 一 Pj (Ti) 后 ， 可 以 得 到 


1 
7) = DwLCo C1— P,(T)) + CP, )] 
1 1 
3 DCo + PCy — Cy) PP) C2. 2.5) 
j=0 j=0 
假设 P; 的 概率 密度 是 p; G=0,. 1), APRS 1 章 的 符号 说 明 ， 可 将 式 (2. 2. 5) 表 示 为 


1 1 
(6) = Dncst+|. [ don; (Ci; — Cos) p; O) Jedy) (2. 2. 6) 
WARE RP ERT. W (6) 可 取得 极 小 值 ， 即 





1 
My = {y € D| rC — Cy) p(y) < 0} 
= iy € T| m Cn — Ca) pi (y) <x, (Coo — Cio) fo Cy) } (2: Le iD 
假设 Cu 二 Co (正确 选择 Hı 的 代价 小 于 错误 拒绝 H 的 代价 )， 式 (2. 2.7) 可 以 重 写 成 
D = {y E T| 210) E rpo ly))} (2. 2. 8) 
式 中 
(Cro — (Ge) 
te in Ca) C2: 2699 
注意 ， 区 域 {yET| pi(y) 二 tpo(y)} 对 平均 误差 没有 影响 ， 因 此 可 以 根据 需要 将 其 从 古 中 
全 部 或 部 分 省 略 。 


将 式 (2. 2.8) 中 由 拒绝 域 所 描述 的 判决 准则 定义 为 似 然 比 检验 (或 概率 比 检 验 )， 该 检 
验 在 假设 检验 理论 中 处 于 核心 地 位 。 注 意 ， 式 (2. 2.8) 中 的 局 可 以 重 写成 





T: = {y E T| [pi (y) /p y] E r} (2. 2.10) 

其 中 ， 定 义 对 于 任何 k> 的 情况 ，&/0 KED. H MA, 之 间 的 似 然 比 定义 为 
= fly i 
L(y) ae yer (2.2 ) 


将 上 式 定 义 为 H, 和 H, 之 间 的 似 然 比 (或 似 然 比 统计 ) 。 显 然 ， 式 (2. 2.8) 所 描述 的 贝 
叶 斯 判决 准则 首先 需要 计算 出 基于 Y 的 观测 值 的 似 然 比 ， 然 后 通过 与 门限 值 = 作对 比 来 完 
成 判决 。 换 言 之 ， 贝 叶 斯 判决 准则 可 写成 


L Lis 
into =f sale (2. 2. 12) 
o LO Zr 
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此 外 ， 均 匀 代 价 是 常用 的 代价 分 配方 法 ， 即 


0, i=j 
C, -1 (2. 2. 13) 
En 
与 之 对 应 的 贝 叶 斯 风险 为 
r(6) = Po) + 2P, (1) C2. 2. 14) 


EE, POUDE H: ARM, RH, HR. Ak, iA; 的 情况 ，P;(T,) 是 H 为 
真 时 发 生 误 判 的 概率 ，r(6) 是 由 判决 准则 $ 产生 的 平均 错误 概率 。 又 因为 似 然 比 判决 r= 
m/m 可 最 小 化 式 (2. 2. 13) 对 应 的 贝 叶 斯 风险 (6) ， 所 以 它 也 是 最 小 错误 概率 判决 。 
根据 贝 叶 斯 准则 [参见 Thomas (1986)]， 在 随机 观测 值 Y 取 值 为 y WARE. H; 为 
真 的 条 件 概率 可 表示 为 
wy = PCH, HRY = y) = Cwm (2. 2. 15) 
力 (y) 
式 中 ，p(y) 二 mpo(y) 十 mp (y) 表 示 Y 的 平均 或 全 局 概率 密度 。x,(y) 和 x (y) 称 为 两 种 假设 
的 后 验 概率 。 利 用 式 (2. 2.15)， 式 (2. 2.7) 所 描述 的 贝 叶 斯 判决 准则 的 关键 域 可 重 写成 
Di = {y ET|Cion (y) 二 Cam(y) < Coon, Cy) + Cum (y)} (2. 2. 16) 
因此 ， 在 贝 叶 斯 判决 准则 框架 中 ， 最 优 判决 是 基于 后 验 概率 的 。 即 利用 观测 值 将 先 验 概 率 
更 新 为 后 验 概率 。 与 之 对 应 的 后 验 代价 为 
Com, (y) 十 Cam Cy) (2.2. 17) 
(2.2.1) 82 BMY SF y 时 ， 选 择 假设 H: 所 产生 的 平均 代价 。 因 此 贝 叶 斯 准则 通过 选 
择 具有 最 小 后 验 代价 的 假设 来 实现 判决 。 例 如 ， 对 于 由 式 (2. 2. 13) 描 述 的 均匀 代价 准则 而 
言 ,- 贝 叶 斯 准则 可 以 写成 
1, Ax(y) Sx, 
6s(y) = (2. 2:18) 
la m (y) <m, (y) 
Ate, EMERE RHR EAER Y= y 时 具有 最 大 后 验 概率 的 假设 实现 判决 。 该 判 
决 准则 也 称 为 二 元 假设 检验 的 MAP(maximum a posteriori) 判决 。 
下 面 的 例子 将 详细 阐明 贝 叶 斯 判决 准则 。 


二 元 信道 
假设 通信 信道 内 数据 以 二 进 制 ( 即 “0” 或 “1”) 进 行 传输 ， 观 测 值 Y 的 取 值 为 0 或 1。 由 
于 存在 信道 噪声 、 非 理想 调制 或 解 调 等 原因 ， 信 道中 传输 的 1-A, 


“0” 可 能 以 概率 2, 被 接收 成 “1”， 以 概率 1 一 4 被 接收 成 “0”， 
其 中 0<X, 二 1。 类 似 地 ， 传 输 的 “1” 以 概率 41 被 接收 成 “0”， 
以 概率 1 一 被 接收 成 “1”， 其 中 0 二 二 1( 具 体 描述 见 
图 2. 2. 1) 。 因 此 ， 由 观测 值 Y 无 法 精确 判定 传输 的 数字 究 
况 是 “0” 还 是 “1”， 需 要 寻求 某 个 优化 准则 以 实现 判决 。 

该 问题 可 建 模 成 二 元 假设 检验 问题 ， 其 中 ， 假 设 H 表 See ae 
RW“ AE MG=0, 1), WWE rE(0, 1), WME Y 的 概率 密度 可 表示 为 


Aj> 天 j 
p(y) =d j y (2. 2.19) 
I= àjo = 


X 
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其 中 ,7 一 0 和 1。 因 此 ， 似 然 比 可 由 下 式 给 出 








pity) 
L(y) = = 
y iky 1 C2» 2. 20) 





对 于 贝 叶 斯 检验 ， 根 据 式 (2. 2. D PRA RRR ETB o WMR An A, Alc 
足 和 >rG 一 Mn0)， 式 (2.2.12) 所 表示 的 似 然 比 检验 可 解释 为 将 接收 的 “0 判决 为 传输 的 
“1; 否则 ， 接 收 的 “0” 对 应 传输 的 “0”。 类 似 地 ， 如 果 1 一 九 三 m。， 似 然 比 检验 就 可 解释 
为 将 传输 的 “1” 接 收成 “1”; 如 果 1 一 ia<mo， 则 接收 到 的 “1 将 被 看 成 是 “0”。 对 于 本 例 ， 
最 小 的 贝 叶 斯 风险 >(6s) 可 以 由 式 (2. 2. 5) 直 接 计 算出 来 (参见 习题 1) 。 

例如 ， 对 于 均匀 代价 且 先 验 概率 相等 (mo 二 x 二 1/2) 的 情况 ， 有 t= 二 1， 且 式 (2. 2. 12) 


的 贝 叶 斯 准则 变 为 
1, Saa) 
0a(0) = | (2. 2. 21a) 
0, ay < CI a 
ls CT Ay) 2 A, 
ôs(1) = (2. 2. 21b) 
0, (—a) <A, 


根据 前 面 的 讨论 ，L(Cy) 等 于 r 的 边界 点 可 任意 判决 为 了 或 者 T。。 因 此 从 风险 角度 出 

发 ， 等 价 的 贝 叶 斯 检验 可 表示 为 
ys (—a) Sa, 

Op Cy) -1 
t—y, GAL A 
如 果 进 一 步 假 设 信道 对 称 ， 即 AL =A, =1, MRC. 2. 22) 变 成 
ds(y) 一 \" aan (2. 2. 23) 
l1— y, Aa>1/2 
式 (2.2.23) 的 含义 非常 直观 : WR ERE eR RRS 1/2), W i 
需要 进行 比特 翻转 ， 即 通过 翻转 所 接收 到 的 比特 来 作 判 决 ; 反之 ， 接 收 端 不 进行 比特 翻 
转 。 对 于 后 一 种 情况 ， 最 小 贝 叶 斯 风险 为 

rôs) = min{à, 1 — à} (2. 2. 24) 
因此 ， 直 接 传输 或 翻转 比特 后 再 传输 的 信道 越 可 靠 ， 传 输 性 能 就 越 好 。 值 得 注意 的 是 ， 在 
均匀 代价 和 相等 的 先 验 概率 条 件 下 ， 即 使 缺乏 观测 值 y， 随 机 猜测 的 风险 也 是 1/2。 因 此 ， 


(2.2.22) 


就 一 1/2 而 言 ， 观 测 是 没有 价值 的 。 < 
高 斯 误差 下 的 位 置 检验 
考虑 关于 实 值 观测 值 Y 的 两 种 假设 
Hy :Y =et Lo 
(2. 2. 25) 
H, :Y = e+ Kl 





其 中 ，e 是 均值 为 0、 方 差 为 of 的 高 斯 随机 变量 ，jy。 和 ya 是 两 个 固定 值 ， 并 满足 > poo 
注意 ， 由 于 poo 或 ja 与 6 的 和 仅 改 变 观 测 值 的 均值 ， 因 此 需要 对 观测 数据 的 两 种 分 布 或 “位 


T 
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置 ” 进 行 判 决 。 从 观测 空间 的 分 布 角 度 看 ， 式 (2. 2. 25) 的 两 个 假设 可 重 写成 
Ho =N Gaa) 
H,:Y ~ Nm») 
HP, N ) 表 示 均 值 为 uy、 方 差 为 a 的 高 斯 ( 正 态 ) 分 布 。 服 从 N u o) 445 h BEL 
变量 的 概率 密度 可 表示 为 
(1/W2rc)exp{ 一 (x—p)*/20°}, x ER 
式 (2. 2. 26) 的 似 然 比 为 


GZs 2s 26) 


1 


2 2 
e cy ) /20 








pı y) 2no i 一 年 
0 a es 

Poly) 1 ern N exp o (> 2 ) (2.2001) 

2no 
即 式 (2. 2. 26) 的 贝 叶 斯 检验 为 

[a tot ps |> 

so -| aia WE (» 2 ) + (2. 2. 28) 
0, 其 他 


其 中 ,rt 是 判决 门限 。 因 为 yw，> jo， 所 以 式 (2. 2. 27) 的 似 然 比 是 关于 观测 值 y 的 严格 增 函 
数 [LdL《y)/dy 二 Cpu 一 po)LC(y)/e 之 0]。 所 以 ,将 L(y) 与 门限 值 c 作 比较 等 价 于 将 y SH 
一 个 门限 值 r SL '(z) 作 比较 ,其 中 LL 是 工 的 反 函 数 。 特 别 地 ， 对 式 (2. 2. 28) 中 不 等 式 
分 别 取 对 数 ， 并 重新 整理 之 后 得 到 





1， yor 
ôs (y) -1 (2. 2. 29) 
0， yr 
其 中 
二 二 = 区 logi +See (2. 2. 30) 
Hi ~~ fo 2 
例如 ， 在 均匀 代价 和 先 验 概率 相等 的 情况 下 ， 可 以 得 到 t=1 和 二 (jw 十 J )/2。 此 时 ， 贝 


叶 斯 准则 将 观测 值 与 we A jy 的 平均 值 Pay) Aw 
作 比 较 。 如 果 y 大 于 或 等 于 平均 值 ， 选 

择 H; 如果 y 小 于 平均 值 ， 选 择 Ho。 
图 2. 2.2 是 与 之 对 应 的 判决 示意 图 。 








F 
WFE P) G=, 1), MÈ n ee 
小 贝 叶 斯 风险 rC6s) 可 由 式 (2. 2.5) 计 算 an 
得 到 。 又 因为 二 {y€ER|y 宇 r}， 进 而 图 2.2.2 高 斯 误差 、 均 匀 代 价 和 等 先 验 
可 以 得 到 概率 下 的 位 置 检 验 
bo 1 1-0( +2), 7 一 0 
一 = icp i _#)— 
PT) = | dy = 1-0(5—#) a (2. 2. 31) 


1—9/ rel aad 
其 中 ，GB 表示 满足 N(0，1) 分 布 的 随机 变量 的 累积 概率 分 布 函 数 ，dA Gn —po)/o. WF 
均匀 代价 和 先 验 概率 相等 的 特殊 情况 ， 可 以 直接 得 到 
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r(ôs) = 1— @(d/2) (2. 2. 32) 

图 2.2.3 给 出 了 贝 叶 斯 风险 与 d 的 关系 。 注 意 ， 风 险 随 均值 (j 一 jo) 与 误差 标准 差 c 的 比 
值 的 增 大 而 单调 递减 。4a 可 理解 为 信 骂 上 比 ， 
在 接 下 来 的 章节 中 将 会 深入 介绍 其 含义 。 <4 17 

虽然 例 2. 2. 1 和 例 2. 2. 2 相当 简单 ， 但 
却说 明了 贝 叶 斯 假设 检验 的 基本 原理 。 第 3 
章 和 第 4 章 将 讨论 更 复杂 的 例子 ， 本 章 末 还 6 1 3 
有 一 系列 相关 习题 。 a 

本 节 最 重要 的 结论 是 : 给 定 代价 C; 和 图 2.2.3 高 斯 误差 下 位 置 判决 的 贝 叶 斯 风险 
先 验 概率 x; 后 ， 式 (2. 2. 12) 所 描述 的 似 然 比 是 贝 叶 斯 意义 上 的 最 优 判决 准则 。 下 一 节 将 
讨论 在 先 验 概率 与 (或 ) 代 价 未 知情 况 下 的 其 他 最 优 判决 准则 。 


2.3 极 小 化 极 大 假设 检验 


本 节 考 虑 先 验 概率 x。 和 x 未 知 的 判决 准则 设计 问题 ， 这 是 因为 在 设计 判决 准则 时 通 
常 无 法 控制 或 精确 知道 系统 的 运行 机 制 。 此 时 ， 最 小 化 平均 或 贝 叶 斯 风险 都 不 是 可 接受 的 
设计 准则 ， 因 为 不 太 可 能 利用 单一 的 判决 准则 来 最 小 化 每 个 可 能 的 先 验 概 率 分 布 的 平均 风 
险 。 因 此 ， 有 必要 寻求 新 的 判决 准则 ， 该 准则 相对 所 有 的 判决 准则 $ 而 言 能 使 最 大 的 条 件 
风险 Ru(0) 和 Ri(6) 最 小 化 ， 即 判决 准则 最 小 化 性 能 指标 

max{ Ro (8) , R1 (8) } (2. 3.1) 
该 判决 准则 也 称 为 极 小 化 极 大 准则 。 接 下 来 的 章节 将 会 讨论 该 判决 准则 的 具体 实现 方法 。 

为 了 寻求 最 小 化 式 (2. 3. 1) 的 判决 准则 ， 首 先 考虑 已 知 先 验 概率 m EL0，1j] 和 判决 准 

则 6 的 平均 风险 r(x,。，6)， 即 
rx,6) = m, Ro (8) (1 — x,)Ri (6) (2. 3. 2) 

在 图 2.3.1 H, n, 的 函数 r(x,，6) 是 一 条 从 7r(0，6) 二 Ri1(6) 到 7r(l1，6) 二 Ro(6) 的 直 
线 。 因 此 ， 当 5 值 固 定 ,， H x 在 0~1 SRAM. r(x,，9) 的 最 大 值 不 是 在 x, =0 处 ， 
就 是 在 x, 二 1 处 ， 并 且 最 大 值 是 max{Ro(6)，R1(6)}。 所 以 最 小 化 式 (2. 3. 1) 的 问题 等 价 
于 在 整个 8 上 最 小 化 下 式 


r (ôs) 






-H/o 





max r(z, +0) C2. 8.3) 
O<x <1 


相 比 式 (2. 3. 1) 而 言 ， 式 (2. 3. 3) 更 容易 求解 。 

对 于 每 个 先 验 概率 x, ELO, 1], EI 5. 表示 对 应 该 先 验 概率 的 贝 叶 斯 判决 准则 。 令 
Vx) 三 r《x。，6 ) 表 示 关 于 先 验 概率 mm 的 最 小 贝 叶 斯 风险 。 易 知 V(r) 是 关于 x 的 连续 
HKA, HH, E[0，1], V(0) 二 Ci，V(1) 二 Co (参见 习题 8)。 图 2. 3.1 画 出 了 典型 的 
V(r) 曲线 。 

为 了 讨论 方便 ,假设 VCx,) 和 rx。，6) 如 图 2.3.1 所 示 。 其 中 还 有 一 条 标 有 r(x， 
6., ) 的 直线 ， 该 直线 平行 于 r(x,，6)， 并 且 相 切 于 V(x,)。 注 意 ， 对 于 这 种 情况 ,6 不 是 
极 小 化 极 大 准则 ， 因 为 r(x。，6., ) 所 表示 的 代价 直线 全 部 在 直线 rm DLF, BIr, 
6., ) 的 最 大 值 小 于 r(xo。，6)。 又 因为 r(x。，6., ) 和 Vx) 在 点 x,=7o 处 相 切 ， 所 以 On), 是 给 
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定 先 验 概率 r。 的 贝 叶 斯 准则 。 显 然 ， 对 于 任意 判决 方法 5， 都 可 以 画 出 类 似 的 正切 线 ( 低 
于 两 个 条 件 风险 )， 因 此 只 有 贝 叶 斯 准则 才 有 可 能 是 极 小 化 极 大 准则 。 此 外 ， 通 过 分 析 图 
2. 3.2， 在 六 有 内 部 最 大 值 时 ， 极 小 化 极 大 准则 就 是 在 x, EL, 1] ERKA VC WER 
概率 x 所 对 应 的 贝 叶 斯 准则 。 注 意 ， 对 于 这 个 先 验 概率 ， 易 知 r(x,，6. ) 是 关于 x, 的 常 
量 ， 即 max{Ry (6, )，Ri (dz, )} =Ro (Ox, =Ri (Ox, ) (条 件 风险 相等 的 判决 方法 称 为 均衡 准 
则 )。 事 实 上 ， 从 图 2. 3. 2 DA, ôn 是 极 小 化 极 大 值 。 因 为 如 果 ror, A max{Ro (6 )， 
R: (dy, )} =Ro Cy, ) > Ro On); WR a" >a, A max{R r)» Ri (ov )) 一 R (Oy, > 
Ri (,, ) 。 


R, (ð) Ry (ðn) 


Ro 6,,) 
r (to ô) 


Cy Coo 
0 Th 1 


图 2.3.1 Arm, 人 和 Vr,) 图 2.3.2 当 V 有 内 部 最 大 值 时 的 极 小 化 极 大 值 


图 2. 3.2 P, m 对 应 极 大 化 极 小 贝 叶 斯 风险 ， 因 此 也 称 为 最 不 利 先 验 概率 。 此 时 ， 极 
小 化 极 大 判决 方法 是 关于 最 不 利 先 验 概率 的 贝 叶 斯 准则 。 虽 然 在 以 上 讨论 中 ， 没 有 考虑 
maxV(r )(0 入 mm 委 1) 可 能 会 出 现在 x, =0 R m = 1 的 情况 ， 也 不 能 保证 V(ro) 在 每 一 点 上 
都 有 直线 与 之 相 切 ( 即 该 函数 不 是 在 所 有 点 上 可 微 )。 但 是 ， 极 小 化 极 大 准则 几乎 总 是 关于 
最 不 利 先 验 概率 的 贝 叶 斯 准则 。 下 面 推导 极 小 化 极 大 假设 检验 问题 的 一 般 解 。 首 先 讨论 如 
下 命题 ， 其 中 V(x,) 如 图 2. 3. 1 和 图 2. 3. 2 所 示 ， 即 a =0 Ma=1. 

命题 2. 3. 1 极 小 化 极 大 检验 

假设 my ÆA Vm) =maxV (m) (Om, <1) 4 MH, BIE m =0 KR m=1 KR) = 
Ro Sn) BY dn, 是 极 小 化 极 大 准则 。 

证 明 首先 ,考虑 R Co。 SR On ) 的 情况 。 对 于 任何 先 验 概率 x,。 A 


max minr(x,.d) 二 7(Cryon ) = rC sr ) (2. 3. 4) 
<z <1 è 


HER, -DERRAT VAn 的 定义 ， 第 二 个 等 式 利 用 了 r(x。，6. ) 在 x 处 是 常数 这 
一 事实 。 进 而 可 以 得 到 


max minr(ru,0) = max r(x, +ô ) > min max r(x, .d) (2. 3. 5) 
<r <1 6 <x <1 E 8 0<n <1 


对 于 每 个 6 而 言 ， 都 有 








max r(m, +8) > max minr(x, ,0) (2. 3. 6) 
0<n <1 <a <1 8 
min max r(m, ô) > max minr (r, »d) (2. 3-7) 


é 0<x <1 0<7 <1 é 
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联合 式 (2. 3. 5) 和 式 (2. 3.7)， 可 以 得 到 


min max r(xz,,0) = max minr(r +ô) (2. 3. 8) 
ô <z <1 <z <1 é 
此 时 ， 式 (2. 3. 4) 左 边 的 等 式 等 价 为 
rlar sôn ) = min pmax r(x, 30) (2.3.9) 
即 Sn 是 极 小 化 极 大 准则 。 口 


现在 假设 zn 一 0， 易 知 maxr s dg, )=R On 5r On) (0 入 m 委 1) 。 在 图 2. 3. 3 中 
给 出 了 这 种 典型 情况 。 结 合式 (2.3.6) ~ 
式 (2.3.9)， 易 知 bu 同样 是 极 小 化 极 大 准 
则 。 类 似 的 结论 在 oe = 1 的 情况 下 也 成 立 。 

注意 ， 对 于 任意 的 r ELO, 1] 和 x, € 
LO, 1], MA rays OSV Cm) Al r(x, 
dx, EV Cro) RE. WA 2.3.2 Stas, BER 
ren > On ) 是 关于 m 的 直线 ， 那 么 它 一 定 是 tar = 
V TER x, =o 处 的 切线 。 To 

因此 ， 如 果 V E r Ab, RE 23.3 端点 处 取 最 大 值 的 极 小 化 极 大 准则 
推出 


R, (6,,) 


R, (8, )=Cn 





V' ro) = drC, sòs, )/dr = CRo (67) — Ri x, ) J 

其 中 ，V 表示 V 的 导数 。 如 果 V 的 最 大 值 不 在 区 间 的 端点 ， 即 x.€E 《0，1)， 则 VV 在 
fl 处 可 微 且 必 有 V'(xi) 等 于 0。( 注 意 , V 是 四 函数 ， 其 导数 V'(x, ) 在 最 大 值 处 等 于 0。) 
所 以 , BIE rE (0，1) 或 V'(x) 是 否 存 在 ,条件 R On) =Ro CO, ) 都 成 立 。 因 此 ， 命 题 
2. 3. 1 的 假设 是 非 强制 性 的 。 

至 此 , 已 经 给 出 了 除 最 大 值 处 不 可 微 这 一 情况 之 外 的 所 有 情况 下 的 极 小 化 极 大 准则 的 
特性 。 对 于 最 大 值 处 不 可 微 的 情况 ， 需 要 定义 6 = lim 8, 和 64 = lim 6 两 种 判决 准则 。 
值得 注意 的 是 ， 无 论 贝 叶 斯 判决 准则 6 采用 何 种 定义 ，6- 的 关键 域 都 可 表示 为 

Ti= {y € Fl Q—m) (Ci — Can) pily) CACo—Cio)poly)} (2.3.10) 
ZEA HE, On, 的 关键 域 为 (假设 Ci <C) 
Tt = {y € Pl Q—m,) (Cn — Cy) pi (y) < me (Co — Cw) poly} (2.3.11) 
对 于 gE[L0，1]， 考 虑 判决 准则 56, 选择 关键 域 Ti 的 概率 为 a，TY 的 概率 为 (1 一 g)， 即 如 
果 yETI ，5。 选择 Hs 如 果 yE (TY)*，65。 选择 Hos WR y 在 Ti 的 边界 上 ， 以 概率 g 
选择 囊 ; 。 从 式 (2.2.6) 可 知 ， 在 边界 上 的 判决 与 贝 叶 斯 风险 无 关 ， 即 rC Sn) = 
Vim), AEF, 是 关于 m 的 贝 叶 斯 准则 。 不 过 ， 条 件 风 险 依赖 于 边界 ， 即 
R,(6,, ) = R; On) + (1 — ODR (8 ) (2. 3. 12) 
如 果 g 按照 下 式 选 取 ， 则 可 使 条 件 风险 Ro n I= Ri CS, ) 最 小 ， 即 
R (64, ) — Ri (6: ) 
1 RO} ) — Ri, ) + Ri On) — Ro On) 
与 命题 (2. 3. 1) 类 似 ， 按 照 式 (2. 3. 13) 选 取 g 后 的 6. 是 极 小 化 极 大 准则 。 


(2. 3. 13) 
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因为 V 是 四 函数 ， 所 以 在 m 处 必然 存在 左 导数 V(xr MAFA V Crit). LAW 
V' Crt )=[R. (OF) — Ri COS) JAM V’ Grr ) = Ro (Oz, ) 一 Ri(65 )] 成 立 ， 所 以 可 将 式 (2. 3. 12) 
改写 为 l 

V' Crt) 
V (三 ) —V (xi) 
注意 ， 如 果 {yET| Ar) (Cu —Cy) pi Cy) =a (Coo — Cro) po Cy) } FERRE Ho 和 H, 下 的 
概率 均 为 0， 则 判决 准则 为 5 及 其 变化 形式 ， 无 需 采 用 8 o HAEN S, 是 随机 判决 准则 
的 典型 例子 ， 与 之 相关 的 概念 将 在 2. 4 节 中 继续 讨论 。 

图 2. 3.4 给 出 了 判决 准则 也 的 特性 。 直 
Bera,» ds, Al r(x,» Of TE x, =m 处 相交 ， r (Tto, ô) 


j R (3) r (tt, 5,,) 
斜率 分 别 等 于 V Cr ) 和 V' (xt )。 将 概率 g 的  ， 工 the 
值 从 0 变 到 1， 便 可 得 到 包含 在 这 两 条 直线 间 ” 


R,G,,) 
的 任意 直线 。 特 别 地 ， 由 式 (2. 3. 14) 确 定 的 g Pa 
所 对 应 的 直线 是 位 于 这 两 条 直线 之 间 的 水 平 a 
线 。 与 图 2. 3. 2 的 讨论 类 似 ,该 判决 准则 显 C 
0 T 


wes (2. 3.14) 












R,(6,,) 


R,(6,,) 


R,(6,,) 
然 具 有 极 小 化 极 大 值 特性 。 

为 了 阐明 极 小 化 极 大 判决 准则 的 设计 思 
路 ， 重 新 考虑 2. 2 节 中 的 两 个 例子 。 

高 斯 误差 下 的 位 置 检验 

考虑 例 2. 2. 2 中 含 高 斯 误差 且 指 定 均匀 代价 的 位 置 检验 问题 。 函 数 V 满足 式 (2. 2. 5) 
和 式 (2. 2. 31) ， 并 由 下 式 给 出 


Co 
1 
To 


图 2.3.4 随机 化 判决 准则 








Va) = x, (1-6(5—#))+ a (A) (2. 3. 15) 
其 中 
pı Eaha J+ z 


因为 V(0) 二 Cui 二 0 二 Cw 一 V(1)， 所 以 最 不 利 的 先 验 概率 n 在 区 间 (0，1) 内 。 又 因为 
式 (2. 3.15) 是 m, 的 可 微 函 数 ， 所 以 不 需要 随机 化 处 理 ， 进 而 x 可 以 通过 Ro (cu ) = 
R (6, ) 得 到 。( 事 实 上 ， 因 为 亏 (Y) 是 连续 随机 变量 ， 对 于 任意 r 都 有 Puo(LCY) 一 zr) 一 
Pi(L(Y) 寺 二 0 成立， 所 以 也 不 需要 进行 随机 化 处 理 。) 先 验 概率 r 通过 e 影响 判决 风险 
Ro (6, ) 和 Ri (cu )， 因 此 通过 求解 下 式 可 以 得 1-0( 4) a(z) 
到 均衡 判决 准则 ° 2 

re = a(S) 


o 








(2. 3. 16) > 
Ho 1 
结合 图 2. 3. 5， 上 式 存在 唯一 解 ， 即 ai 
1 = 0 十 1 
TL 2 人 图 2. 3.5 高 斯 误差 和 均匀 代价 下 


位 置 检 验 的 条 件 风 险 
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对 应 的 极 小 化 极 大 判决 准则 为 
l, = ( 0 i272 
ano =| edie ed (2. 3. 18) 
0, y< (m ty) /2 
从 式 (2. 3.17) 可 知 ， 最 不 利 的 先 验 概率 是 x 二 1/2， 对 应 的 极 小 化 极 大 风险 为 
V(1/2) = ee < 


二 元 信道 
在 第 二 个 例子 中 ， 我 们 重新 考虑 指定 均匀 代价 后 例 2. 2. 1 所 描述 的 二 元 信道 问题 。 最 
小 贝 叶 斯 风险 函数 由 下 式 给 出 (参见 习题 1) 
V(x,) = min{(1— m, Jà sm (1 —A,)} + min{ A — m) — ài) ro》 (2.3.19) 
该 函数 可 重 写 成 








To? ONnm Sx 
Vix, 一 4 十 Cro， 开 所 mo 去 元 (2. 3. 20) 
lemsi Tem Ql 
其 中 
as 外 t=), TES Ài ii, 一 下 
z= MMI —ay ta lata!’ 7 ™*\T—a, ta 1—a +a, 


并 且 C 二 (一 x 一 x)/(z 一 x)。 注 意 ， 斜率 在 x 和 元 处 发 生 改 变 ， 即 VCro) 具 有 分 段 线性 特 
性 。 又 因为 V(0) 二 V(1) 二 0， 所 以 在 x 和 元 之 间 斜 率 符号 的 变化 将 决定 rz。 特别 地 ， 如 果 
C<0, War=a; 如 果 C>>0， 则 立 = 元 WR C=0, Wm 是 先 验 概率 Lx， zj 中 的 任意 值 。 
不 论 何 种 情况 ， 其 极 小 化 极 大 风险 都 是 了 Ce) 一 max{，1 一 元 } 。 

无 论 是 在 xx 还 是 元 Vin MAD HK, 
所 以 有 必要 考虑 随机 化 检验 。 为 了 方便 说 
明 ， 考 虑 图 2. 3.6 COMM. BRA 
m=7. ViGat)=—-l1lAV Gal ) 二 C， 进 而 
可 得 到 随机 化 常量 9 为 





= 一 一 -一 ~ 8.21 = 
iT (ote (2.3.21) 0 x 元 总 1 


由 例 2.2.1 BA: 如 果 zt 二 +， 则 贝 叶 
斯 准则 是 6.,(0)= 二 6 (1) 二 0。 因 此 dF (0) = 
of (1) 二 0 和 TY 是 空 集 。 类 似 地 ， 对 于 <a, < 的 情况 ， 如 果 刀 二 1 一 4%。， 则 有 6. (= 
ys WR u> WAS, O=1—y. PM: WMR A< TURR 6% (y) 二 y， 并 
且 当 y=0 时 ， 极 小 化 极 大 准则 5 选择 0; 当 y 二 1 时 ， 极 小 化 极 大 准则 5. 以 概率 9 选择 
ILy=O 时 ， 以 概率 1 一 g 选择 0]。 在 这 种 情况 下 ， 极 小 化 极 大 风险 是 


oe er Ay 
VG) =] Ti i — 2 FA, 
进而 ， 如 果 a, =A =AGHA<1/2, M <1) Aq=1, ARMERKRHA 


V(x) =À 





图 2. 3.6 ZIMA PA VCO) 


(2.3.22) 
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就 x。E LA，1 一 J 而 言 ， 该 代价 等 于 贝 叶 斯 风险 。 换 言 之 ， 只 要 4 二 x 三 1 一 *4， 先 验 概率 的 
不 确定 性 不 会 影响 判决 性 能 。 < 

综 上 所 述 ， 在 先 验 概率 未 知 的 情况 下 ， 可 采用 极 小 化 极 大 准则 来 设计 最 优 判决 器 。 该 
准则 的 解 是 关于 最 不 利 先 验 概率 的 贝 叶 斯 检验 ， 且 通过 在 边界 处 进行 随机 化 判决 来 获得 极 
小 化 极 大 风险 特性 。 此 外 ， 似 然 比 检验 通常 具有 最 优 判 决 特性 。 下 一 节 将 讨论 二 元 假设 检 
验 问题 的 尼 曼 -皮尔 逊 假设 检验 。 


2.4 尼 曼 -皮尔 逊 假设 检验 


针对 2. 2 节 描 述 的 假设 检验 问题 ， 贝 叶 斯 准则 通过 最 小 化 平均 风险 来 设计 最 优 判 决 
器 ; 类 似 地 ， 极 小 化 极 大 准则 通过 极 小 化 极 大 条 件 风 险 来 设计 最 优 判决 器 。 在 很 多 实际 问 
题 中 ， 对 判决 赋 以 正确 代价 通常 较为 困难 。 在 这 种 情况 下 ， 常 采用 奈 曼 -皮尔 逊 判决 准则 
作为 替代 的 设计 准则 。 

式 (2.2.1) 所 描述 的 关于 Ho 和 Ay 的 判决 问题 中 存在 两 类 误 判 : H 被 错误 接受 或 H, 被 
错误 拒绝 。 第 一 类 误 判 称 为 I 型 误差 或 “ 虚 警 ”; 第 二 种 误 判 称 为 下 型 误差 或 “ 漏 检 ”.。“ 虚 
警 "? 和 “ 漏 检 ” 的 提 法 来 自 于 雷达 领域 ， 在 雷达 信号 处 理 中 ，H。 和 A, 常用 来 代表 不 存在 和 
存在 目标 ， 正 确 接 受 H 通常 称 为 检测 。 对 于 判决 准则 3，I 型 误差 的 概率 称 为 虚 警 概率 
(或 虚 警 率 )， 记 为 Pe (6) 。 类 似 地 ， 开 型 误差 称 为 漏 检 概 率 ， 用 Pw (0) 来 标记 。 但 是 ， 通 
常 以 检测 概率 来 代替 漏 检 概 率 ， 即 Pp(6) 二 1 一 Pv (6)， 检 测 概率 也 称 为 判决 6 的 势 。 

显然 ， 如 果 以 牺牲 某 一 个 误差 为 代价 ， 则 可 将 上 述 两 个 误差 中 的 任意 一 个 设计 得 非常 
小 。 因 此 ， 设 计 Ho Al Hy 的 判决 准则 需要 在 这 两 种 误差 概率 之 间 寻 求 平 衡 。 事 实 上 ， 贝 
叶 斯 准则 和 极 小 化 极 大 准则 本 身 就 是 种 折衷 处 理 方式 。 为 了 实现 这 种 平衡 ， 尼 曼 - 皮 尔 撑 
准则 首先 固定 虚 警 概率 ， 然 后 通过 最 小 化 漏 检 概 率 来 实现 判决 ， 即 

max Pp(6) s.t. Pr(d) <a (2. 4.1) 
Ht, a 是 虚 警 概率 约束 ， 也 称 为 检验 水 平 或 检验 的 显著 性 水 平 。 因 此 ， 尼 曼 - 皮 尔 逊 准则 
设计 的 目标 就 是 找到 HM H, 检验 的 显著 水 平 为 a 的 最 大 势 判 决 。 与 贝 叶 斯 准则 和 极 小 化 
极 大 准则 不 同 ， 尼 曼 -皮尔 逊 准则 假定 两 种 假设 的 重要 性 存在 差异 。 

为 了 给 出 式 (2. 4. 1) 所 描述 的 尼 曼 -皮尔 逊 问题 的 通 解 ， 需 要 考虑 与 检验 $。 类 似 的 随 
机 化 检验 ， 该 检验 的 定义 参见 2. 3 节 中 极 小 化 极 大 问题 的 解 。 从 便于 分 析 角 度 出 发 ， 可 将 
随机 化 准则 5 定义 为 荆 映射 到 区 间 [0，1] 上 的 函数 。 换 言 之 ,对 于 >ETP，5$(y) 是 当 观察 
结果 为 了 一 > 时， 接受 H 的 条 件 概率 。 

例如 ，2. 3 节 介绍 的 随机 化 极 小 化 极 大 准则 $。 可 写成 

ls Loy) > a 
SG。 OM =4q Loan (2. 4. 2) 

0, LÐ <tr 
式 中 ，r 是 对 应 于 最 不 利 先 验 概率 x 的 判决 门限 。 根 据 这 个 定义 ， 可 以 看 出 非 随机 化 判 
决 准则 仅 是 随机 化 准则 的 特例 。 特 别 地 ， 非 随机 化 判决 准则 6 对 应 于 随机 化 准则 $ Cy) = 
6(y)。 这 两 种 方法 的 区 别 在 于 ,6 的 值 (0 或 1) 是 所 接受 假设 的 下 标 值 ， 而 $ 的 值 是 接受 
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Hi 的 概率 。 在 5 只 取 0 或 1 时 ， 这 两 种 方法 一 致 。 
判决 准则 的 虚 警 概率 是 当 互 。 为 真 的 情况 下 接受 H, 的 概率 。 对 于 随机 化 判决 准则 5， 
其 虚 警 概率 根据 下 式 计算 


Pe(B) = BEY) 一 | $C) po Cy) pCdy) (2. 4. 3) 


AF, Ele }) 表 示 假 设 及 ,下 的 数学 期 望 。 式 (2. 4. 3) 之 所 以 成 立 ， 是 因为 虚 警 概率 与 H。 
假设 下 将 观测 Y 判决 为 互 ![ 即 5C(Y)] 的 平均 概率 相等 。 类 似 地 ， 随 机 化 选择 的 检测 概率 按 
照 下 式 计算 


P0) = E (8Y) = 3 TO) pi Cy) ul dy) (2.4.4) 


至 此 ， 尼 曼 - 皮 尔 逊 设计 问题 的 通 解 可 总 结 成 以 下 结论 。 
命题 2.4.1 尼 曼 -皮尔 逊 引 理 
对 于 式 (2. 2.1) 所 描述 的 假设 检验 问题 ， 给 定 P, 在 j 二 0 和 j 一 1 时 的 概率 密度 为 p; 并 
假设 a>0 后 ， 有 如 下 结论 成 立 : 
1) 最 优 性 。 假 设 和 是 满足 PrO) Ka 的 任意 判决 准则 ，8$ 为 具有 如 下 形式 的 任意 判决 准则 
ly Dil) > nbo ly) 
a Cy) = [ron Pi(y) = npo ly) (2. 4.5) 
0， Pi1(y) = ypoly) 
式 中 ,7w 宇 0，7Y(y) ELO 1]j 满 足 Pr) Sa, ARMA Po) SPRE. PH e 
式 (2. 4.5) 的 任意 判决 均 为 虚 警 概率 为 a 的 尼 曼 -皮尔 过 判决 。 
2) 存在 性 。 对 于 所 有 的 aE (0，1)， 存 在 YC(y) 二 Yo 的 形 如 式 (2.4.5) 的 判决 准则 SNp， 
满足 PrCSNw) 一 a。 
3) 唯一 性 。 假 设 6' 是 任 一 虚 警 概率 为 a 的 尼 受 -皮尔 逊 判决 准则 ， 则 8$ 必然 具有 
式 (2.4.5) 的 形式 ， 除 非 H, 4 H 假设 在 下 的 某 个 子 集 上 的 概率 均 为 0。 
证 明 1) 假设 8 和 8' 的 定义 如 前 所 述 。 在 给 定 8 后 ， 对 于 yET, [6 (y) 一 6(y)]， 
[Lp1(y) 一 mpo《y)j 宇 0 总 是 成 立 的 。 因 此 


| [§'C(y) To) E O — ypoly) lu(dy) S 0 (2. 4. 6) 
P 
将 式 (2. 4. 6) 中 各 项 展开 并 重 排 后 ， 有 

[a pdu—| Spid > "|. 加 dk 一 | 5 pody] (2.4.7) 


利用 式 (2. 4. 3) 和 式 (2. 4. 4)， 可 将 式 (2. 4.7) 改 写成 
Pb(S 一 Pb(S) > aL Pr C ') — Pe(6)]= gla — Pr(S)] S 0 (2. 4. 8) 
在 推导 过 程 中 利用 了 Prea Blt, TMT Pp(5') 之 Pp(5) 的 证 明 。 
2) 如 果 假 设 7 是 使 下 式 成 立 的 最 小 常数 
Po (p (Y) > qo po (Y)) <a (2. 4. 9) 
那么 在 PoC pi CY) >qo po Y) <a 时 ， 可 选择 


a — Ps (h: OD > gobo Y) 
Po (pi (Y) = Ho Po (YJ) 





% = (2. 4. 10) 
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其 他 情况 可 任意 选取 Y,， 具 体 情况 如 图 2.4.1 所 示 。 进 一 步 假 设 Se 是 = M ya) =y 时 
由 式 (2.4.5) 所 描述 的 判决 准则 。 根 据 定 
义 ， 有 
Pel Siw) = E; ie) 
= P, (p: (Y) > qop (Y)) 
+y Pa (p (Y) 








Po (p (Y) >npy(¥)) 


a-P, (pi (¥)> mp (¥)) 


加 二 P,(p, (Y) = mopy (Y)) 
eee eee 
= popo (Y)) =a (2.4.11) 
显然 ， 存 在 形 如 式 (2. 4. 5) 所 描述 的 判决 准 eee te 
则 ， 使 得 y(y) 为 常数 ， 且 虚 警 概率 为 ws。 || Pp 下 
3) 假设 5' 为 形 如 式 (2.4.5) 的 虚 警 概 Ban sate 
率 为 “的 尼 曼 -皮尔 逊 判决 准则 ，8$ 为 任 一 2241 eee 
种 另外 的 虚 警 概率 为 a 的 尼 曼 -皮尔 逊 判决 判决 门限 和 随机 化 参数 
准则 。 根 据 定 义 ， 则 PoCS ) 必 然 等 于 Pu(8$8 )， 进 而 结合 式 (2. 4. 8) 可 得 0a Pr 
0, BI Pr) =a. Alt, 的 大 小 必 为 x。 利用 等 式 Ppl") = Pod) M PrN = 
Ps(5')， 并 结合 式 (2. 4. 6) 一 式 (2. 4. 8) 的 推导 过 程 ， 可 以 得 到 
[ca Cy) — &"Cy) Ep Cy) — noo (y) Jedy) = 0 (2. 4. 12) 
由 于 被 积 函数 非 负 ， 因 此 除了 概率 为 0 的 集合 之 外 ， 式 (2. 4.12) 也 应 该 等 于 0。 因 此 ，8 
和 5" 仅 在 集合 {yET | ANSO PFE. RAZ, S 也 具有 式 (2.4.5) 的 形式 ， 
与 $ 的 区 别 仅 在 于 函数 y(y) 的 形式 可 能 不 同 。 口 
上 述 结 果 再 次 证 明 似 然 比 检 验 具 有 最 优 性 。 对 某 个 给 定 的 假设 检验 对 ， 尼 曼 - 皮 尔 逊 
检验 与 贝 叶 斯 和 极 小 化 极 大 检验 的 差异 仅 在 于 判决 门限 和 随机 化 参数 。( 注 意 ， 当 a 二 0 
时 ， 尼 曼 - 皮 尔 偿 检验 可 由 非 随机 化 检验 直接 给 出 ， 其 关键 域 为 由 = 二 {yET|po (y) =0}). 
下 面 结合 两 个 例子 来 说 明 尼 曼 -皮尔 逊 检验 的 设计 方法 。 
高 斯 误差 下 的 位 置 检验 
再 次 考虑 例 2. 2. 2 所 描述 的 高 斯 误差 下 的 位 置 检验 问题 ， 有 


PAW) > pph Y) = PLY) >) = PY > q) = 1—o(7—*) (2. 4.13) 


式 中 ， 7 =o log(y)/ (un 一 mm) 十 (由 十 mo)/2。 izofa) 


o 


图 2.4. 2 给 出 了 虚 警 概率 与 判决 门限 的 变化 
R inerrant ce 

给 定 判 决 门 限 后 ， 虚 警 概率 按照 下 
式 计算 





= oP" (1-a) + Uo 


o= oP A — a) +p (2414) apa | 


KH, O'HROSHMAM. LAA PY= 0 Mo 1 
1) 一 0， 这 意味 着 可 进行 任意 随机 化 处 图 2.4.2， 高 斯 误差 下 位 置 的 尼 曼 -皮尔 逊 
理 ， 例 如 选择 7 二 1。 此 时 ， 虚 警 概率 为 检验 的 判决 门限 


a 的 尼 曼 -皮尔 逊 检验 可 由 下 式 给 出 


~ l, 
Onp (y) -| 
式 中 ， SN 具有 式 (2. 4. 14) 的 形式 。 


根据 定义 ，S$xe 的 检测 概率 为 
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y> 


(2. 4. 15) 


y< p 


Pp( oy) = E; { õn (Y) } = P(Y S p) = | 


一 1 一 GCG (1 —a)— d) 


AP, d=Cn—po)/o 是 例 2.2.2 中 定义 的 信 噪 
比 。 对 于 固定 的 a， 由 式 (2. 4.16) 得 到 检测 概率 
是 信 噪 比 d 的 函数 。 这 种 关系 有 时 也 称 作 检验 的 
HBR, WA 2.4.3 所 示 。 给 定 4 后 ， 式 (2.4.16) 
给 出 了 检测 概率 与 虚 警 概率 的 关系 。 借 用 雷达 技术 
中 的 术语 ， 称 检测 概率 与 虚 警 概率 的 关系 为 接收 机 
工作 特性 (Receiver Operating Characteristics, ROC), 
如 图 2.4.4 所 示 。 图 2. 4. 2 一 图 2.4.4 可 用 于 分 析 高 
斯 噪声 中 的 信号 检测 问题 。 后 续 章 节 将 深入 讨论 与 
之 相关 的 内 容 。 < 

二 元 信道 

为 了 说 明 随 机 化 在 尼 曼 -皮尔 还 问题 中 的 重 
要 性 ， 再 次 讨论 例 2. 2. 1 中 的 二 元 信道 问题 。 尽 
管 式 (2. 2. 20) 给 出 了 此 类 问题 的 似 然 比 ， 但 就 尼 
曼 -皮尔 逊 检测 而 言 ， 在 求解 虚 警 概率 a 对 应 的 
判决 门限 时 ， 需 要 考虑 PLY) >). WT fit 
Ay, HBA, taA<1, HMA a/a) 
(1—A,)/A, 成 立 ， 并 且 





A 
h a Ty 
Ai 1—A 
PLY) > p =j4> Poy SIS 
1—A, 
， 一 一 
0 17 之 元 
(2. 4. 17) 


该 函数 如 图 2.4.5 所 示 。 结 合 图 2. 4. 5 易 知 ， 虚 
警 概率 为 a 的 尼 曼 -皮尔 逊 判决 器 的 判决 门限 为 


là, 0<a<a, 


m= A Agagi (2. 4. 18) 
i 0 


0， a=1 


(2. 4. 16) 


Py Õu) = 1-6 (G" (1-a) -d) 





0 d 


图 2.4.3 ”高 斯 误差 (d= 二 (yu 一 jo)/o) 下 位 置 
的 尼 曼 -皮尔 逊 检验 的 检测 概率 


1 


Po 


0 P; (Ĝe) 1 


图 2. 4. 4 高 斯 误差 (d= 二 (ju 一 jo )/o) 下 位 置 
的 尼 曼 -皮尔 逊 检验 的 ROC 曲线 


P, (L(Y) >) 





T-A 


A, 
TA, 
2.4.5 ”二 元 信道 的 阅 值 和 
随机 化 选择 
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而 且 ， 还 可 以 看 出 相应 的 随机 化 常量 为 


Q 





ie 0O<a<a, 
0 
= =À 
Yo —, Leagi (2. 4. 19) 
0 
任意 值 ， a = 1l 


结合 式 (2. 2. 20) 、 式 (2. 2. 18) 和 式 (2. 2. 19) 可 知 ， 在 0K, 时 ， 尼 曼 - 皮 尔 逊 假设 检验 
One (A 


Q 

ms =r gk 

Onp Cy) = K (2. 4. 20) 
0, = 0 

ag Ay Sa <1 时 ， SNp(y) 为 1 


1， y=1 
Be) Jena P (2. 4. 21) 
iA, ~ 


根据 Po n) =P LOY) Sq I HP (LY) =q) ve 


~ 





计算 尼 曼 -皮尔 逊 检验 的 检测 概率 ， 具 体 为 
eS, 0<a<a, 
~ Ay 
PpCénp) = 
a—Aa, | 
(1 一 4) 十 加 ;i Ral 
1—%o 0 Pe (Gp) 1 
C2. 4. 22) 


图 2.4.6 对 称 二 元 信道 的 ROC 
值得 注意 的 是 : ROC(Pp 关于 Ps ) 分 段 线 性 ， 在 


PR 一) 处 斜率 发 生变 化 。 图 2. 4. 6 给 出 了 对 称 信 道 (2, 二 X11 二 4 三 1/2) 的 ROC 曲线 。 < 


2.5 复合 假设 检验 


前 面 几 节 讨 论 的 假设 检验 问题 也 称 作 简单 假设 检验 问题 ， 这 是 因为 式 (2. 2.1) 所 描述 
的 两 个 假设 均 只 对 应 观测 数据 的 单个 分 布 。 但 在 许多 假设 检验 问题 中 ， 每 个 假设 中 可 以 出 
现 多 种 可 能 的 分 布 。 这 种 类 型 的 假设 称 为 复合 假设 。 例 如 ， 在 雷达 检测 问题 中 ， 回 波 信和 号 
存在 未 知 的 参数 ， 如 到 达 时 间 ( 与 位 置 有 关 ) 和 多 普 勒 频 移 ( 与 速度 有 关 )。 因 此 ,“ 目 标 存 
在 ”的 假设 将 是 一 个 复合 问题 。 本 节 将 简要 讨论 复合 假设 检验 的 判决 准则 设计 方法 。 

为 了 不 失 一 般 性 ， 对 复合 假设 检验 问题 进行 建 模 ， 需 要 考虑 在 卫 上 以 参数 0 表示 的 概 
率 密度 族 ， 其 中 0EA。 即 有 一 族 概率 分 布 {Po; OCA}, HP, Pi 是 9 为 真实 参数 时 观测 
数据 的 概率 。A 中 参数 的 值 代表 了 参数 所 有 可 能 取 值 的 集合 。 式 (2. 2.1) 所 描述 的 简单 假 
设 对 应 A 二 {0，1}) 的 特殊 情况 。 更 一 般 地 ， 参 数 空 间 可 由 两 个 不 相交 的 集合 Ad Al Ad 构 
成 ， 它 们 分 别 对 应 两 种 假设 下 参数 的 值 域 。 

在 复合 假设 检验 问题 的 贝 叶 斯 判决 形式 中 ,假设 参数 是 在 集合 A 上 取 值 的 随机 变量 
©. KK, P, 表示 给 定 8 二 9 时 Y 的 条 件 分 布 ， 期 望 对 9 进行 二 元 判决 。 为 了 便于 分 析 ， 
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仅 考 虑 9 的 非 随机 化 二 元 判决 准则 。 在 贝 叶 斯 意义 上 设计 最 优 判 决 准则 ， 首 先 需 要 指定 代 
价 函 数 CLi， 岂 ， 其 中 ，C[Li， 几 表示 当 Y 一 P, MGE (0, 1), OCA) BE i ARG. 
例如 ， 在 雷达 检测 问题 中 ， 参 数 9 可 能 与 目标 位 置 及 速度 有 关 。 相 比 距离 较 远 的 慢 速 目标 
而 言 ， 丢 失 邻 近 高 速 目标 的 代价 可 能 更 大 。 为 了 分 析 简 便 ， 限 定 C 非 负 且 有 界 。 

与 简单 情况 类 似 ， 判 决 准则 $ 的 条 件 风 险 定义 为 


R,(6) = Es{C[6(Y),0]}, EA (2.5.1) 
AP, E 表示 Y~P, 的 期 望 。 类 似 地 ， 平 均 或 贝 叶 斯 风险 可 以 定义 为 
r(6) = E{Re(d)} (2. 5. 2) 


最 小 化 ~(6) 可 得 到 贝 叶 斯 判决 准则 。 
考虑 E,{CLOCY), 0 四} AE{CL6(Y)，8B]|8==90) 后 ，r(6) 可 写成 
r(6) = E{E{C[6(Y) ,80]|8}} = E{CL6(Y) ,9]) (2. 5. 3) 
其 中 ， 第 二 个 等 式 由 E{X)} 二 E{E{X|Y})} 得 到 。 因 此 ，r(6) 是 判决 准则 5 关于 8 和 Y HE 
均 代价 。 再 次 利用 E{X)}= 二 E{E{X|Y)} 后 ， 可 以 得 到 
r(6) = E{E{CLecy) ,8]|Y}} (2. 5. 4) 
在 式 (2. 5. 4) 中 需要 注意 的 是 : 如 果 对 于 每 个 ver, HY 6(y) 都 能 够 最 小 化 下 式 所 描述 的 
后 验 代价 ， 那 么 判决 6 能 最 小 化 7 (6) 


E{CL8(Y) ,8]|Y = y} (2.5.5) 
又 因为 SCy) 只 能 取 0 或 1， 所 以 可 得 到 贝 叶 斯 判决 准则 如 下 
1， E{C[1,0]|Y = y} < E{CL0,@]|Y = y} 
dz (y) -oa E{Cl1,0]|Y = y} = E{C[0,0]| Y = y} (2. 5. 6) 
0, E{C[1,0]|Y = y} > E{C[0,0]|Y = y} 


式 (2.5.6) 的 解释 很 直观 : 在 给 定 观 测 数据 后 ，6s 选择 了 平均 代价 最 小 的 假设 。 在 
4 一 {0，1) 时 ， 式 (2. 5. 6) 简 化 成 2. 2 节 讨 论 过 的 简单 假设 检验 的 贝 叶 斯 规则 ， 同 样 可 理解 
为 最 小 化 后 验 代价 。 
在 许多 问题 中 ， 参 数 空间 可 以 分 解 为 两 个 具有 均匀 代价 的 不 相交 集合 A A A! ， 这 两 
个 集合 分 别 代 表 假 设 Ho 和 Ay, Bp 
Cli] = Cys 6 EA; 62. 5. 7) 
BR, 假设 Cu<Co 后 ， AA 5.6) 可 以 简化 为 


P@EA,|Y=y) Cio — Coo 
P@EA|Y = y) Cou 一 Cu 


P@EA|Y=y) _ Cuo — Co 
POE Ao Y= y) Coi — Ci 


0 P(O € A |Y = y) -Co 一 Co 
í P@EAIY=y) ”Co 一 Cn 
式 中 ，P(9EAi|Y=y) 表 示 Y=y 时 ，@ 位 于 A; 的 条 件 概 率 。 进 一 步 假 设 Y 的 条 件 概 率 
密度 为 p(y|8EA;)，j= 二 0，1， 利 用 贝 叶 斯 公式 可 以 得 到 
ply) 


l, 





sy) 一 40 或 1， (2. 5. 8) 





P@EA|Y=y= (2.5.9) 


RP, p(y) = >) pGyl@€ A) POE A;) 。 进 而 可 将 式 (2. 5. 8) 简 化 为 


7 一 0 
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x, (Cio — Coo) 

Ls T A 

(») = mı (Co, == Cu) 

z. CCo — Co) 

(y) 二 0 或 1，L = 一 -一 一 一 - 5. 
ds (y) 或 3 (2. 5. 10) 

a (Os = Cyd 

0, L pel ana i 

er ee, o] 


AH, =POEA), L(y) =ply|@EA1)/p(y|@E Ao). MRC 5.10 UEH, Æ 
HOSP OEA Dt, AE E RH la] BS 

对 于 所 有 的 EA， 假 设 @ 具有 密度 凤 (9) ，P, 具有 密度 pb， 利用 第 1 章 中 的 符号 说 
明 ， 密 度 p(y |OEC A) A FRAY 


pola EA) = | bow C0) uC do) (2.5.11) 
0， 0 ¢ A; 

w; (0) = (2.5.12) 
wO)/r; > 0 E A; 


goth ae, =f wiad 
4; 


注意 ， 该 问题 中 的 假设 检验 对 也 可 以 由 式 (2. 5. 11) 中 的 观测 密度 定义 ， 它 只 取决 于 条 
件 密 度 ww 。 因 此 ， 对 于 wj CA, iia 未 知 的 复合 假设 检验 问题 ， 也 可 以 采用 极 小 化 极 大 
准则 和 尼 曼 -皮尔 逊 判决 准则 。 当 然 ， 除 了 在 参数 模型 的 物理 解释 上 存在 差异 外 ， 它 们 与 
2.2 节 一 2.4 节 中 所 描述 的 简单 假设 检验 问题 在 本 质 上 是 一 致 的 。 下 面 通过 例子 来 说 明 如 
何 设计 复合 假设 检验 的 判决 准则 。 

平面 内 点 分 布 半 径 检验 

假设 PT=R(Y=(Y,, Y.)"), AM FRE 

Yı =e 
"y = e 

Y, = AcosW+ ¢; 
"y, = Asinv+e, 
RF, ABIERRM, VEEL, cI EHSA KENE, e Me HIRANO, oa 
的 随机 变量 ，e; 、es 和 和 相互 独立 。 这 里 的 观测 数据 可 视 为 平面 内 某 点 坐标 的 带 噪声 测量 
值 。 该 点 可 能 位 于 原点 ， 也 可 能 在 一 个 以 A 为 半径 的 圆 内 均匀 分 布 (第 3 章 将 会 讨论 有 关 
该 模型 的 一 些 应 用 ) 。 

针对 上 述 检 测 问 题 ， 参 数 可 以 取 为 86= 二 (68;，6B;),， HHOE€{0, A}, EL, 2x]. 
因此 ， 参 数 集 A 为 {0, A}X[0, 2xj 且 Ao 二 {0€A|10==0}, A= EASA, 4 O=4 
时 ，Y 的 密度 函数 为 两 个 独立 的 MN(0，o ) 分 布 分 别 进行 均值 平移 A, cosh, 和 0 sin, 后 的 联 
合 分 布 ， 即 


H 
(2. 5:13) 


1 


l exp{—q(y+0)/20°}, y €R 
2no 


q(y,0) a [Cy — h cosh)? + Cy — @ sing)’ ] (2.5.14) 





Py) = 
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进而 可 以 直接 得 到 


p(y|O E Ao) = poly) |a= = : exp{— (yi + y2)/20°} (2.5.15) 


2x0” 





2x 
POLO € AL) =E ST p(y) laadh 


1 2r 
=i, exp{— q(y+0) |o,=a/20° } dd, (2. 5. 16) 


结合 式 (2. 5. 15) MSR (2. 5. 16) 可 以 得 到 似 然 比如 下 


Ç 9 A ) —A?/20 ron A ， 
L(y) = pons = re =£ On is exp {23 (on cosh; + yzsinĝz) dð; (2.5.17) 


上 式 利 用 了 sin?0, 十 cos*0, 二 1。 为 了 简化 式 (2. 5.17), ARE r= (y +y) 和 变量 $= 
arctan(yz/Y1) 后 ， 有 yı =rcos¢, y: 一 rsing。 利 用 三 角 公 式 cos$cos0, + singsinb, = cos 
(0,—$), FY LAGE 2 





a [expr costa, —$) dg, = ĦA J, (=) (2.5. 18) 
AP, L 是 第 一 类 零 阶 修正 贝 塞 尔 函 数 ， 它 对 应 式 (2. 5. 18) 中 的 积分 项 。 
函数 To Cz) 单 调 递增 。 按 照 式 (2.5.18) 计 算 工 (y) 并 与 门限 r 进行 比较 等 价 于 将 > 与 


t'=0 I (re )/A 进行 比较 。 式 (2. 5.13) 所 描述 的 检验 问题 的 贝 叶 斯 、 极 小 化 极 大 以 
及 尼 曼 一 皮尔 逊 判决 准则 都 具有 如 下 形式 





L(y) = 


L; r>r 
Go(y) =4y, r=r (2.5.19) 
0, r<r 


因此 ， 可 通过 将 ”与 门限 进行 比较 来 实现 对 式 (2. 5. 13) 的 最 优 判 决 ， 其 中 为 点 (yl;，y2) 
到 原点 的 距离 。 该 判决 域 如 图 2. 5. 1 所 示 ( 这 里 随机 化 方式 不 重要 )。 第 3 章 将 会 进一步 讨 
论 该 最 优 检验 的 其 他 方面 及 相关 模型 。 < Ya 
对 于 复合 假设 检验 问题 ， 在 缺乏 参数 的 先 验 分 

布 (或 条 件 先 验 ) 时 ， 要 给 出 严格 满足 最 优 性 定义 的 
假设 检验 通常 是 很 困难 的 。 此 时 ， 需 要 对 2.4 节 中 
尼 曼 -皮尔 逊 准 则 进行 推广 。 与 上 节 类 似 ， 假 设 参 
数 空 间 可 分 为 两 个 不 相交 的 集合 A 和 A! 。 对 于 任 
意 随机 化 判决 准则 5， 可 定义 其 虚 警 概率 和 检测 概 
率 为 

PrO = EFM}, 0€ Ad 

Po: = ESM}, OEA 
与 尼 曼 -皮尔 偿 表达 式 类 似 ， 要 求 虚 警 概率 不 超过 
BABE a. BR, 满足 PRT; 0)<a,，9EAo 约 ”图 2.5.1 例 2.5.1 的 判决 域 (一 D5) 
R, HFA OEA 都 能 最 大 化 Po; 0) 的 判决 准则 将 是 最 优 的 。 具 有 上 述 特性 的 判决 
准则 也 称 为 虚 警 概率 为 a 的 一 致 最 大 势 检 验 (Uniformly Most Powerful, UMP). 


(2. 5; 20) 
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尽管 非常 希望 得 到 UMP 检验 ， 但 它 仅 在 某 些 特殊 情况 下 才 存 在 。 为 了 说 明 这 一 问 
题 ， 考 虑 单一 零 假 设 Ao 情况 ， 即 Ao 仅 包含 单个 元 素  。 假 设 对 每 个 EA，P, 具有 密度 
por WW H, 和 假设 了 一 P 的 虚 警 概率 a 的 最 大 势 检验 的 判决 域 为 = y Erl po) > 
tps, O), AP r( 也 有 可 能 是 随机 化 ) 根 据 虚 警 概率 a 计算 。 另 外 ， 根 据 尼 曼 - 皮 尔 逊 引 
理 ， 该 检验 具有 唯一 性 ， 因 此 ， 其 他 任何 虚 警 概率 为 a 的 检验 都 不 会 比 它 更 有 效 。 例 如 ， 
对 于 Ai 中 的 任意 两 个 元 素 9 和， 就 判决 H 和 YY 一 Py 而 言 ， 基 于 Ty WRR EET YH 
检验 更 有 效 ( 反 之 亦 然 )， 除 非 两 个 关键 域 完 全 相同 。 因 此 ， 可 以 得 出 结论 ， 当 且 仅 当 对 所 
有 的 OCA. Ty 都 相同 时 ， 才 存在 H 与 复合 假设 H:Y~P,, OCA, K UMP 检验。 下面 
的 例子 将 进一步 说 明 这 一 问题 。 

位 置 的 UMP 检验 

考虑 分 布 {P。; 9E A} 的 参数 集 ， 其 中 Pi RANGO, o ) 分 布 ，A 为 R 的 一 个 子 集 。 假 
设 对 为 

Hy :0 = Lo 

H, :0 > po 
AP, po 是 固定 常数 。 该 问题 是 典型 的 单一 零 假设 问题 ， 即 Ao = {yo} UAL = fos 2}. 
从 例 2.4.1 TA, FEDEA, H 与 Y~N(90, 0 ) 的 虚 警 概率 为 a 的 最 大 势 检验 具有 
KR ={yET|y>oS*'1—-atpw}. HFRMABRRF O, Alt, CAH T (2.5.21) 
的 UMP 检验 ， 将 其 记 作 5,。 注 意 ， 式 (2. 4. 16) 意 味 着 


(2. 5. 21) 


Pp (B36) = 1—0(@'(1 — — oe) (2. 5. 22) 
另外 ， 对 于 相同 的 分 布 族 ， 考 虑 如 下 假设 对 
Hy: == Mo 
Aa (2. 5. 23) 
Hi :0 Æ Co 


现在 有 复合 假设 A;=( 一 co，m) UCm, ©), HF 0>m ， 最 大 势 的 关键 域 同 前 。 但 是 ， 
对 于 0 二 y。， 可 以 直接 看 出 虚 警 概率 为 a 的 最 大 势 检 验 的 关键 域 为 
Dy={y€ET|Iy<oB (a) + po? (2. 5. 24) 
虽然 该 域 与 0 无关， 但 在 >m 时 ， 它 与 也 截然 不 同 。 因 此 ， 对 式 (2. 5. 23) 所 描述 的 假设 
检验 问题 而 言 ， 不 存在 UMP 检验 。 
如 果 将 具有 关键 域 [ 式 (2. 5. 24) 所 示 ] P, (6; 0) P, (5; 8) 
的 判决 记 作 5。， 则 


Pp (5230) = B (G0) — —#*) 
oO 








(2.5425) 
图 2. 5. 2 给 出 了 该 量 值 以 及 式 (2. 5. 22) 中 
的 PoC 0) 相对 于 0 的 曲线 图 。 注 意 ， 图 2. 5.2 高 斯 误差 下 位 置 检验 的 检测 概率 


当 0 在 最 优 区 域外 时 ， 两 个 假设 的 性 能 都 re ae 


不 是 很 好 。[ 对 式 (2. 5. 23) 更 合理 的 一 个 检验 是 将 |y 一 jo | 和 门限 进行 比较 ， 而 不 是 $; 或 
5,， 但 该 检验 不 具有 UMP 特性 。] < 
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例 2. 5. 2 说 明了 在 大 多 数 情况 下 ，UMP 准则 都 过 于 严格 。 采 用 其 他 约束 后 ， 可 以 消 
除 一 些 不 合理 的 检验 。 例 如 无 偏 性 约束 ， 它 要 求 对 于 所 有 的 OCA, Pod; Oa, HA 
Prd; 9) 二 a。 注意 ， 该 约束 能 同时 消除 式 (2. 5. 23) 中 的 检验 和 了 6。。 与 之 相关 的 讨论 可 
以 参考 Lehmann(1986) 的 书 。 
在 实际 应 用 中 ， 参 数 集 AMERA, ÉR, KF ASi, A=, ©); A 
此 ， 有 假设 对 
Hy :0 = % 
H, :0 > % 
上 述 判 决 可 与 9 二 0、 信 号 幅度 为 9 的 信号 检测 问题 对 应 。 此 时 ， 在 H 假设 下 ， 我 们 更 关 
心 96 接近 9。 的 情况 ， 即 弱 信 号 判决 问题 。 
对 于 判决 准则 5， 在 正则 性 约束 下 ， 可 以 将 Po: 90) 展开 成 0, 的 泰勒 级 数 ， 即 
Pp(6;0) = Po) + (0—0)Pp(6;0,) + OC(O— 0)’) (2. 5. 27) 
A, PhO; 6) 二 9Pp(6; 0/00. AFA Pods 0,) 二 Pr (6)， 对 虚 警 概率 为 a 的 判决 准 
Wj Po; OMA. FE Oo 的 邻 域内 有 下 面 的 表达 式 近 似 成 立 
Po; ~ at (0— 0)Pp(S;0,) (2. 5. 28) 
因此 ， 对 于 % 附近 的 0， 可 以 通过 最 大 化 Ph; 0,) 来 得 到 近似 最 大 检测 概率 的 判决 。 能 
够 使 Php(5; 0 ) 最 大 化 ， 并 具有 虚 警 约束 Pra 的 检验 称 为 虚 警 概率 为 a 的 局 部 最 大 
势 检 验 (Locally Most Powerful，LMP) ， 或 称 为 局 部 最 优 检验 。 
为 了 得 到 LMP 检验 的 一 般 形式 ， 假 设 对 于 每 个 OEA; Pi 都 具有 概率 密度 pe BI 


PO = ELEY) = | FO pol pCdy) (2. 5. 29) 


BO); 9EAi}) 满 足 正则 性 要 求 ， 则 可 以 交换 式 (2. 5. 29) 中 积分 和 求 导 的 次 序 ， 进 
而 有 


(2. 5. 26) 


P4330) = k TO) Dpoly) loy pCdy) (2. 5. 30) 


对 比 式 (2. 5. 30) 和 式 (2. 4. 4) 可 知 : 如 果 将 pi(y) 用 3psCy)/30|o-o 代 蔡 ， 则 设计 虚 警 概率 
为 a 的 LMP 判决 准则 与 设计 虚 警 概率 为 a 的 尼 曼 -皮尔 逊 判决 准则 相同 。 基 于 上 述 类 比 ， 
易 知 式 (2. 5. 26) 对 应 的 虚 警 概率 为 a 的 LMP 检验 为 


1， Š po) | song, 闻 npo, Cy) 
boy) = 4% 2 po) [o=o = npo, W) C2. 5. 31) 


0, 2 pO) lon < Ps, O) 


RH, 和 7 满足 Pr(61) 二 x。 具体 推导 步骤 可 以 参考 Ferguson 的 书 (1968) 。 第 3 章 将 深 
入 讨论 LMP 检验 的 特性 。 

对 于 上 述 最 优 判决 准则 均 无 法 应 用 的 情况 ， 通 常 选择 将 下 式 与 某 个 门限 进行 比较 来 实 
现 判决 
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max Poy) 
1 
akana PRES (2. 5. 32) 
GE Ay 


其 中 集合 A 和 A, 不 相交 。 该 检验 也 称 作 广义 似 然 检验 或 最 大 似 然 检验 ， 这 一 检验 将 在 第 
4 章 中 具体 介绍 。 


2.6 习题 
1 求 例 2. 2. 1 中 的 二 元 信道 最 小 贝 叶 斯 风险 。 ase (Ys, reos 
2. Y 是 一 随机 变量 ,在 Hy 条 件 下 的 概率 分 布 函 人 
数 为 且 在 习题 2 间 题 (a) 中 的 先 验 概率 为 6 一 3/4、 
六 po 0 过 y 达 1 ri 一 1/4， 重 做 习题 2。 
0, 其 他 . 在 习题 2 中， 假设 对 为 
在 Hy 条 件 下 的 概率 分 布 函 数 为 Him Ws 
_ fl, O0<y<1 BY = Wks 
e k 其 他 其 中 ，* 是 一 个 固定 实数 且 * 之 0，N 是 连续 随 


Ca) 求 在 均匀 代价 和 相等 先 验 概率 条 件 下 ， 检 
W Ao 和 H, 的 贝 叶 斯 准则 和 最 小 贝 叶 斯 
风险 。 

Cb) 求 均匀 代价 条 件 下 的 极 小 化 极 大 风险 。 

Co) 求 尼 曼 - 皮 尔 逊 准则 和 虚 警 概率 a€ (0，1) 
情况 下 的 检测 概率 。 

. 习题 2 中 的 p; 用 下 式 代替 


p(y) = GED p+ 151 > 
2 


且 习 题 2 中 间 题 (a) 的 先 验 概率 为 x 一 1/4、 
ni 二 3/4， 问 题 (a) 和 问题 (b) 的 代价 函数 为 


yER, j=0,1 


0, i=j 
C,,; f i=l, j=0 
3/4, 1=0, i 0 
重 做 习题 2。 
. 将 习题 2 的 概率 分 布 函数 p。 和 pi 分 别 改写 为 
e”; yO 
pO) = | , 
0, y=0 
“st y 宇 0 
pi ly) = 
0, y=0 


对 于 问题 (a)， 考 虑 任意 先 验 概率 ， 重 做 习 
题 2。 

. 在 习题 2 中 ,假设 在 Ho MH 条 件 下 Y 的 概 
率 密度 函数 为 


er yy ER 


Ho : poly) = 
o:Poly Jim 





机 变量 ， 其 概率 密度 为 


p,m 一 nER 


pe a cots 
A+)’ 
重 做 习题 2。 


. (a) 给 出 一 个 假设 对 


H.:Y =N 
Hi:Y= N+S 
KH, NAS 是 独立 的 随机 变量 ， 其 概率 
分 布 函 数 为 
E oe li da 
0, sxo 
R A 和 Hi 之 间 的 最 大 似 然 比 。 
b 求 采用 虚 警 概率 为 a 的 尼 曼 -皮尔 逊 准则 检 
测 问题 (a) 的 检测 门限 和 检测 概率 。 
(c) 考虑 假设 对 


Ho:Y,; = Ni> k = lyen 
Hi :Y, = N, +S, k= Ll, 
其 中 ， n>1HN,, SSF y N, 和 S 是 独立 的 


随机 变量 ， 其 概率 分 布 函 数 在 问题 (a) 中 给 
出 ， 求 似 然 比 。 

Cd) 求 采用 虚 警 概率 为 a 的 尼 曼 -皮尔 逊 准则 检 
测 问题 (c) 的 检测 门限 。 


. 证 明 最 小 贝 叶 斯 风险 函数 V( 定 义 参见 2. 3 节 ) 


EMMA LO, IRMA. EEH V 是 
Miz. ARARALO, 1] EA He — H R HE 
(0，1) 上 连续 这 一 事实 。) 


9. 假设 观测 序列 了 是 一 实数 ， 且 二 元 假设 的 概率 
分 布 函数 可 以 表示 为 
ia |y|， |yxl<1 
ly|>1 
a ly|/4, |ly|<2 
0, ly|>2 
Ca) 假设 代价 为 
Cn = 265.0 
Co = Cy =0 
求解 Ho 和 Ay 的 极 小 化 极 大 检测 以 及 相应 
的 极 小 化 极 大 风险 。 
(b) oR fit He EW ot, Ho 和 HH; KWES- 
皮尔 逊 检测 以 及 相应 的 检测 概率 。 
10. 假设 观测 一 随机 变量 Y， 且 
Y= N+ 
HH, 9 为 1 或 0, 4 是 0~2 之 间 的 一 个 固定 
值 ，N 是 一 随机 变量 , 在 (一 1，1) 区 间 满 足 
均匀 分 布 。 希 望 在 以 下 两 种 假设 间 进 行 判决 


poly) = 


pi(y) = 


Ho :0= 0 
H,: 二 1 
(a) 求 虚 警 概 率 在 0 一 1 之 间 的 尼 曼 -皮尔 逊 判 


决 准则 。 

Cb) 求 尼 曼 -皮尔 逊 判决 准则 的 检测 概率 ( 自 变 
量 为 虚 警 概率 和 参数 1)， 并 画 出 接收 机 
工作 特性 曲线 。 

11. 假设 观测 序列 了 是 一 实数 ， 其 假设 检测 问题 为 

Hy :po (y) = exp(— y /2)/V2r, yER 
H, : p(y) = exp (y— 1)?/2)// 2x, yE R 
AREY SP BE Coo = Cu =0, Co =1, Cr =N. 
求 该 检测 问题 在 等 概率 假设 条 件 下 的 贝 叶 斯 
准则 和 贝 叶 斯 风险 ， 以 及 当 N 趋 于 无 穷 时 的 

极 小 化 极 大 准则 和 风险 。 

12. 考虑 单个 二 元 假设 问题 ， 其 判决 准则 为 6， 分 
别 用 PrO A Puv(6) 表 示 虚 警 概率 和 漏 检 概 
率 。 性 能 估计 定义 为 

pe) a [Pro]? + [Pu } 
表示 所 有 随机 化 判决 准则 6 中 使 得 po(6) 最 
小 的 一 个 准则 。 
(a) 证 明 6 一 定 是 似 然 比 检测 。 
(b) 当 mmEL0，1 时 ， 定 义 函 数 V 为 
Vix) = min[ a, Pr 十 (1 一 mm)Pw] 
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(GK x, =1/2 f, Vor, ) 在 区 间 [0，1] 内 达到 最 
大 值 。 证 明 o 是 先 验 概率 m = 1/2 时 的 贝 叶 斯 
准则 。 (HEAR: 2o(6) = 二 [Ps (8) 十 Pu(6)]: 十 
[Pr (0)— Pu (C0)].) 

13. 考虑 下 面 的 贝 叶 斯 判决 问题 ， 实 观测 Y 在 给 
ELLER O=0 F MAREE EW 


de”, y>0 
Poly) = | 


0， y<0 
@ 是 一 随机 变量 ， 其 概率 密度 为 ， 
ae”, 6>0 
w(0) = | 
0, 0< 0 


式 中 ，a>>0。 求 解 下 述 假设 检验 的 贝 叶 斯 准 
则 和 最 小 贝 叶 斯 风险 
Ho:9E (0,8) A Ao 
H, :0 € [B,0°) a A 
式 中 ，p>0 是 一 个 固定 值 。 假 设 代价 函数 为 
1, 0¢A; 
0, GEA; 
14. 将 习题 13 中 的 了 看 成 是 由 n 个 独立 的 且 具 有 
相同 分 布 的 观测 值 Y==Yl，…，Y, 组 成 ， 其 
条 件 概 率 密度 与 习题 13 相同 。 重 做 习题 13， 
但 可 不 给 出 贝 叶 斯 风险 的 闭 式 解 。 
15. 考虑 混合 假设 检验 问题 


Ho:Y ORR ER p= pel, 


C[Li,0] = 


yER 


HY 的 概率 密度 名 一 pele, 
YER, 0>0 

(a) 描述 虚 警 概率 为 a 的 局 部 最 大 势 检验 并 推 
导 它 的 势 函数 。 

(b) 是 否 存在 一 臻 最 大 势 检验 ? 如 果 有 ， 求 出 
它 并 推导 它 的 势 函数 ;如果 没有 ， 求 解 
Ho 和 Hi 的 广义 似 然 比 检测 。 

16. 在 2.2 节 中 ， 我 们 求解 了 二 元 贝 叶 斯 假设 检验 
问题 ， 试 将 它 推广 为 M 元 假设 问题 (M>2)。 
17. 推导 M 元 极 小 化 极 大 假设 检验 的 公式 ， 证 明 

贝 叶 斯 均衡 准则 (如 果 存在 的 话 ) 就 是 极 小 化 
极 大 准则 。 
18. 对 于 M 元 假设 ， 如 何 得 到 一 个 与 尼 曼 -皮尔 吉 
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20. 


准则 类 似 的 准则 ?给 出 求解 方法 。 


-以 下 给 出 了 独立 的 随机 变量 序列 Y,, Yo. «+, Yn 
的 一 对 假设 

Ho Yı 一 NGC)， 玉 一 1, 2 

Hi :Y, ~N Cm), k=1,2,,n 


AF, po. mw. ob 和 of 均 为 已 知 常数 。 

(a) 证 明 似 然 比 能 表示 为 关于 参数 m、 生 、 咯 
Mi, URAR SY? 和 DY, 的 函数 。 

k=1 k=1 

(b) 分 别 描述 Co =p» of > od) Al (oi = 3, 
> po) FN JES -R RD RE 

(c) 求解 pw =m, of >ot, H n=1 时 的 门限 值 
和 ROC, 

考虑 在 pA > po =0 和 oA 二 of 之 0 的 条 件 

下 习题 19 BR. Ep 和 o? 都 已 知 


21. 


的 情况 下 ， 是 否 存在 一 臻 最 大 势 检 验 ? 如 果 
有 ， 找 到 它 并 证 明 它 是 UMP; 如 果 没 有 ， 证 
明之 ， 并 给 出 广义 似 然 比 检验 。 
RL Y=Y1, Yz, +, Y, 是 一 组 随机 观测 序 
列 ， 每 个 观测 以 等 概率 在 0 和 1 中 取 值 。 考 虑 
KHFY=Y,, Yı, , Y, 的 二 元 假设 

Ho :¥1 ,Yo，…,Y, 是 独立 的 

Fy: pi (ye | yi, y2 90 Yi) 

3/4, ye = ye 
7 1/4, ve Æ Ymisk = 2,3, ,Nn 

AP, pil | ynys o ma) Æ Yr =y: 在 
ty Yi = yr- F H RAFE 
率 分 布 。 求 均匀 代价 和 先 验 概率 相等 条 件 下 
的 贝 叶 斯 判决 准则 。 


Y, =y; Y= y, 
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3.1 引言 


第 2 章 讨论 了 二 元 假设 检验 问题 中 几 种 基本 的 最 优化 准则 和 设计 方法 ， 本 章 将 利用 这 
些 方法 以 及 一 些 相关 的 方法 来 推导 噪声 中 的 最 优 信号 检测 过 程 。 为 了 避免 分 析 复 杂 化 ， 本 
章 仅 考 虑 离散 时 间 的 信号 检测 问题 ， 关 于 连续 时 间 的 分 析 将 在 第 4 章 给 出 。 由 于 信和 号 处 理 
通常 是 以 数字 运算 的 方式 进行 ， 因 此 研究 离散 时 间 下 的 信号 检测 有 着 非常 重要 的 意义 。 

3. 2 节 将 以 第 2 章 为 基础 ， 讨 论 各 种 信号 检测 问题 的 模型 并 推导 出 其 各 自 的 最 优 检测 
器 结构 与 相应 的 准则 集合 。 对 于 最 优 检测 器 的 相对 误差 概率 闭 式 解 不 易 求 解 的 情况 ， 相 应 
的 性 能 分 析 方法 将 在 3. 3 节 中 具体 论述 。 此 外 ，3.4 节 和 3.5 节 将 介绍 三 种 与 第 2 章 不 同 
的 信号 检测 方法 ， 它 们 分 别 是 序 贯 、 稳 健 和 非 参数 化 检测 。 


3.2 模型 和 检测 器 结构 


在 基本 观测 模型 中 ， 所 观测 到 的 连续 时 间 波 形 由 被 加 性 噪声 污染 的 两 个 有 用 信和 号 之 一 
构成 ， 目 标 是 通过 处 理 观测 波形 中 的 有 限 样本 ， 来 对 这 两 种 可 能 的 信号 进行 判定 。 
利用 观测 空间 CPP，98) 王 CR" ， 好 7) 上 的 假设 检验 对 概念 ， 上 述 问题 可 统计 建 模 为 
Ho:Y¥; = Ne + Sos 有 一 1 2 7 


人 
H,:Y; = Nit Siwo kR=1,2,°*,n 


式 中 ， 守信 we Yr 是 由 观测 波形 采样 所 构成 的 观测 向 量 ， N= (Ni1, *5 N,)* 是 
噪声 采样 向 量 。S。 二 (So，…，So,) ”和 Si 二 (Sn,，…， Sind? 是 两 种 可 能 信号 的 采样 s 。 


这 里 需要 指出 ， 式 (3. 2. 1) 中 的 Y 不 仅 可 以 理解 为 时 间 采 样 向 量 ,， 还 可 以 表示 同时 对 nn 个 
空间 分 离 的 传感器 或 者 ”组 平行 滤波 器 的 输出 进行 采样 所 产生 的 向 量 。 鉴 于 时 间 模 型 的 
结果 能 等 价 应 用 到 其 他 可 由 式 (3. 2. 1) 表 示 的 模型 中 ， 因 此 通常 都 将 下 标 n 看 作 是 时 间 
参数 。 

如 果 已 知 信 号 和 噪声 的 统计 模型 ， 那 么 可 以 利用 第 2 章 的 结论 设计 H 和 H 的 最 优 
判决 过 程 。 从 实际 应 用 出 发 ， 信 号 So AS 通常 可 以 分 为 三 类 ， 即 完全 已 知 的 信号 (确定 
信号 ) 、 参 数 未 知 ( 或 随机 ) 的 确定 信号 和 仅 能 用 概率 分 布 描述 的 完全 随机 信号 。 在 一 些 情 
况 下 (例如 雷达 、 声 呐 系 统 中 ) ， 它 们 中 的 某 个 信号 (通常 是 S,) 等 于 0， 因 此 实际 上 需要 检 
测 淹没 在 噪声 中 的 信号 。 对 于 这 种 处 理 方式 ， 通 常会 假定 噪声 与 每 一 个 假设 下 的 信号 都 是 
独立 的 ， 同 时 它 的 分 布 概率 与 假设 是 否 成 立 无 关 。 尽 管 在 一 些 特殊 应 用 中 噪声 可 能 依赖 于 
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信号 (例如 在 雷达 、 声 呐 探测 中 ， 噪 声 有 了 时 包含 了 由 地 面 或 其 他 与 目标 独立 的 物体 所 反射 
的 信号 )， 但 这 一 假定 在 大 多 数 应 用 中 都 是 有 效 的 ， 因 此 通常 假设 噪声 部 分 可 用 R 空间 上 
的 连续 或 离散 概率 密度 p、 表 示 。 

在 上 述 假设 条 件 下 ， 如 果 知 道 S; 在 7 二 0，1 时 的 统计 分 布 ， 就 可 以 计算 出 式 (3. 2. 1) 
的 似 然 比 。 特 别 地 ， 若 给 定 S 一 5 € R"， 则 观测 数据 Y 的 条 件 概 率 密度 为 (在 H; F) 


Pn(y—s), yE R (3. 2.2) 
由 式 (3. 2.2) 可 以 得 到 Y 在 互 ; 下 的 概率 密度 为 
H) = El pry- S) yER (3. 2. 3) 


需要 注意 的 是 ， 上 式 是 关于 信号 S; 的 期 望 。 进 而 可 将 似 然 比 写作 


Ley) = Elftx ty— $0) 
W = ee 


因此 ， 通 过 计算 式 (3. 2. 4) 即 可 得 到 式 (3. 2. 1) 的 最 优 判决 过 程 ， 而 通过 计算 相应 判决 区 域 
的 概率 可 对 其 性 能 进行 分 析 。 下 面 将 结合 典型 模型 对 这 类 判决 问题 展开 讨论 。 

模型 3. 2. 1 独立 噪声 中 的 确定 信号 检测 

在 许多 问题 中 ,信号 $S。 和 S, 着 完全 确定 的 。 特 别 地 ，S; 二 s;，s; ER 通常 在 设计 时 就 
已 知 。 该 问题 有 时 也 称 作 相干 检测 问题 。 在 这 一 情况 下 ， 式 (3. 2.4) 中 的 L(y) 变 为 


pn(y— s) Pn Cy = Si tt Vn — Sin) 
L z= = 二 
oe Pu Cy — So) PN (V1 — Sor 9 °° Yn — Son) 


从 上 式 可 以 发 现 ， 如 果 py 已 知 ， 就 很 容易 确定 最 优 检 测 器 的 结构 。 不 过 ， 一 般 而 言 ， 
式 (3. 2. 5) 是 观测 数据 的 复杂 函数 ， 往 往 难 以 应 用 和 分 析 ， 特 别 是 在 样本 数目 (n) 较 大 时 更 
为 困难 。 因 此 需要 对 概率 分 布 函数 作 进 一 步 的 简化 ， 否 则 很 难得 到 基于 式 (3. 2.5) 的 判决 
器 的 更 多 结论 。 例 如 ， 对 于 极 小 化 极 大 值 或 尼 曼 -皮尔 逊 判 决 准则 的 阐 值 设 定 ， 计 算 检 测 右 


的 性 能 需要 n 重 积分 | pb Wudy), 所 涉及 的 运算 量 十 分 巨大 。 噪 声 样 本 N ，…，N， 
统计 独立 是 式 (3. 2. 1) 在 已 知 信号 下 的 一 个 特殊 情况 。 在 这 种 情况 下 ， 有 


yER' (3. 2. 4) 





C3.. 2.5) 


pnCy) = [| py, Ow) (3. 2. 6) 
k=1 
AP, py, ÆN, 的 边缘 密度 ，L(y) 可 表示 为 


L(y) = [[ iid) (3.2-7) 
k=1 


式 中 ， Ly (yn) = Pn, (ye T Sie) / Pr, (Ye — Soe) o 由 于 log (xz) 是 z 的 严格 递增 函数 ， 因此 将 
L(y) 55 BAL r 进行 比较 和 将 logh (Cy) 5H log(r) 进 行 比 较 等 价 。 因 此 ， 最 优 判决 可 写 为 


Ls > logL: (Cy) > logr 
k=1 


§.(y) = 4% DlogLi (ys) = logr (3. 2. 8) 
k=1 





0, > logL (y+) < logr 
k=l 
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如 图 3. 2. 1 所 示 ， 该 最 优 判 决 结构 由 非 线性 瞬 态 时 变 logh,, RIN KR BMF a W A 


比较 器 构成 。 下 面 两 个 例子 将 对 式 (3. 2. 8) > 可 
在 实际 中 的 两 种 特殊 情况 进行 说 明 。 ny iia k Bi J Ses Eran 


独立 同 分 布 高 斯 噪声 下 的 相 
干 检测 

假设 噪声 样本 N; ，…，N, 满足 独立 同 分 布 ， 且 边缘 分 布 服从 N(0， or)。 例 如 在 通 
信 系统 的 接收 端 ， 噪 声 主要 来 自 接收 电路 中 电子 运动 产生 的 热 噪声 。 为 了 方便 起 见 ， 假 设 
so 一 0， 其 中 0 Ha nO 向 量 ，s 表示 si (注意 ， 该 假设 不 会 造成 任何 损失 ， 因 为 在 重新 
定义 观测 数据 y 二 y 一 s。 后 ， 信 号 在 Hy 下 变 为 0， 在 Hi 下 变 为 s 一 s 一 s,)。 因 此 ， 有 
logLi (yr) 二 se《yi 一 54/2)/o:( 见 例 2.2.2)， 则 最 优 判决 为 








图 3. 2.1 独立 噪声 情况 下 的 相干 信号 检测 结构 





1， dys (94 Tyo T 
6。(y) = 47; > (> aoa $= r (3. 2. 9) 
0， D5 (ya) 


n 


式 中 ，r'Aozlogr。 其 结构 如 图 3. 2. 2a 所 示 。 注 意 , 一 二 3》1s 可 以 合并 到 阐 值 中 ， 因 此 与 


RG. 2.9) 等 价 的 判决 是 将 > sion F e” = + D1 进 行 比较 。 此 结构 称 为 相关 检 
测 器 (简称 相关 器 )， 如 图 3. 2. 2b 所 示 。 


a) Yr 





t"=0°log u} $ (s,)? 
= 





-= > H, 
b) X 2 “ z g” HRH, 
Ho 


图 3. 2. 2 独立 同 分 布 高 斯 噪声 中 相干 信号 的 最 优 检测 
通过 比较 线性 系统 的 输出 和 立 值 来 检测 信号 ， 是 最 优 检测 器 在 高 斯 噪声 中 的 一 个 重要 


特征 。 特别 地 ， 有 DIET = Dy Prades 其 中 
Se OS RS n— |] 
hh = (3. 2. 10) 
t 其 他 
相应 地 ， 检 测 器 可 以 看 作 是 将 观测 序列 yi ，…，y 输入 一 个 数字 线性 滤波 器 ， 然 后 
在 时 间 nn 对 输出 进行 采样 并 与 阅 值 进行 比较 的 系统 。 这 种 检测 结构 也 称 为 匹配 滤 
波 器 。 4 
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独立 同 分 布 拉 普 拉 斯 噪声 下 的 相干 检测 
如 例 3. 2. 1 所 示 ， 假 设 噪 声 样 本 N,，…，N, 是 独立 同 分 布 的， 但 边缘 概率 服从 拉 普 
拉 斯 分 布 ， 即 
bun) = Seln|, WER (3. 2.11) 


AF, a>0 是 密度 的 一 个 标量 参数 。 该 模型 一 般 用 于 描述 通信 接收 机 的 脉冲 噪声 。 与 高 斯 
模型 相 比 ， 它 具有 较 长 的 “ 拖 尾 ”， 也 就 意味 着 大 的 观测 值 有 更 高 的 概率 。 

AG. 2. 11) AY pK logLi Cy.) AT FH Li(yi) 二 a( | ye | lys | BB, PEMA F 
表达 式 成 立 


一 ss sgn(s,)y, <0 
logL (yx) = la 0< sgnls)y, < |s| (3. 2.12) 
十 clse|， sgn(Cs) ys > |s| 
式 中 ，sgn 表示 符号 函数 
+l; #>90 
sgn(x) - x=0 (3. 2.13) 
=b; 2:0 


在 图 3. 2. 3 中 ， 给 出 了 函数 logLi (y ) 在 两 种 情况 (sw <0 和 只 之 0) 下 的 具体 描述 。 观 罕 
图 3. 2. 3 可 以 发 现 ， 基 于 > logLi(yw) 的 最 优 检测 器 能 够 通过 下 式 实现 


1， > sgns) le Cove) >r 


k=1 


n 


O) 一 47， >d)sen(s Cn) = r (3. 2. 14) 


k=l 


n 


0, X sgn( se) le Coe) <r’ 


k=1 


log Li (y,) log Li (yi) 





图 3. 2.3 拉 普 拉 斯 噪声 中 相干 检测 的 单个 样本 对 数 似 然 比 


其 中 rs SE, HRA L RATT FIL 
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T, = |a Erk ll (3. 2. 15) 
F |l week |s| 72 
TER, WRreE(—|sy|/2, +]sy//2), Wl BREN, BM L=|s,|sgn(r)/2. KBR 
通常 称 作 软 限 幅 器 或 放大 限 幅 器 。 式 (3. 2. 14) 的 系统 表述 如 图 3. 2. 4 所 示 。 


—|s|/2. 殉 委 一 | 如 | 站 
L(x) = 





图 3. 2.4 拉 普 拉 斯 噪声 下 相干 信号 的 最 优 检测 


对 比 图 3. 2. 2a 和 图 3. 2. 4 的 检测 器 结构 可 以 发 现 : 两 个 系统 都 是 通过 将 每 个 y 减 去 
sx/2 来 “中 心 化 ?观察 数据 。 图 3. 2. 2a 中 的 系统 把 “中 心 化 ”后 的 数据 与 已 知 信号 作 相 关 ， 并 
把 相关 的 输出 与 阔 值 相 比 较 。 与 之 不 同 的 是 ， 图 3. 2.4 所 描述 的 检测 器 先 对 “中 心 化 ”后 的 
数据 进行 软 限 幅 ， 然 后 对 这 些 软 限 幅 后 的 观测 数据 和 信号 的 符号 序列 作 相 关 。 软 限 幅 的 作 
用 就 是 减 小 大 观测 值 对 求 和 的 影响 ， 从 而 能 够 比 图 3. 2. 2a 所 示 的 线性 系统 容纳 更 大 的 品 
声 值 。 与 之 前 讨论 的 高 斯 噪声 相 比 ， 图 3. 2. 4 所 描述 的 处 理 过 程 结合 了 拉 普 拉 斯 随机 变量 
的 特性 。 < 
独立 同 分 布 噪声 下 相干 信号 的 局 部 最 优 检 测 


在 许多 检测 问题 中 ， 接 收 信号 的 形式 是 已 知 的 ， 但 其 幅度 未 知 。 为 了 对 这 类 问题 进行 
建 模 ， 考 虑 复合 假设 检验 问题 如 下 


Ho :Y, = Ni, k = 1,2, „n 
(3. 2. 16) 
Hi Yk = Ni t Osko k= 1,2, ons o= 0 
式 中 ，s 二 (51，…，s,)” 是 已 知 的 信号 ，N= (Ni ，…，N,)I 是 一 个 由 独立 同 分 布 分 量 组 


成 的 连续 随机 噪声 向 量 ， 其 边缘 概率 密度 函数 为 pv,，9 是 信号 强度 参数 。 对 于 给 定 的 9， 
H. 和 H, 的 似 然 比 可 以 写作 
Lite = II arene (3. 2.17) 

注意 ， 除 非 遇 到 特殊 情况 ( 例 3. 2. 1 中 的 高 斯 噪声 就 是 一 种 特殊 情况 )， 否 则 判决 区 域 二 
{yER" |Lsly) 之 rt) 一 般 依赖 于 9。 因 此 ， 式 (3. 2.16) 的 UMP( 一 致 最 大 势 ) 假 设 检验 只 在 
特定 噪声 模型 下 存在 。 然 而 ， 式 (3. 2. 16) 的 LMP 假设 检验 却 有 着 特别 简单 且 直 观 合理 的 
结构 ， 因 此 考虑 这 种 情况 下 的 局 部 最 优 检测 是 非常 有 意义 的 。 

假设 边缘 概率 密度 函数 bw, 足够 光滑 (存在 微分 )， 互 。 对 于 H, 的 局 部 最 优 检测 如 下 
[ 见 式 (2. 2. 31)] 
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1, BLD lao > 


Sly) = 4% ZL ay) leno = T (3. 2. 18) 


| 0, BLO leo < 
对 式 (3. 2.17) 取 偏 导 数 ， 得 到 
Sy (yl = D 528 yi) (3. 2.19) 
06 k-1 


其 中 ， Sio(DA—p'y, (x)/pn, (x); p'n, (2) =dpy, (x)/dz. 此 结构 如 图 3.2.9 所 示 ， 它 
由 无 记忆 的 非 线 性 因子 ge 和 相关 器 组 成 ， 也 称 为 非 线性 相关 器 。 





3.2.5 独立 同 分 布 噪声 中 相干 信号 的 局 部 最 优 检测 器 


与 似 然 比 类 似 ， 局 部 最 优 非 线性 因子 ge 对 观察 数据 进行 一 定 的 处 理 ， 从 而 尽 可 能 
减少 噪声 带 来 的 不 利 影响 。 例 如 ， 对 于 服从 M(0，o) 分 布 的 噪声 ， 有 gol) =r/>, E 
时 图 3. 2. 5 仅 是 图 3. 2. 2b 中 的 相关 检测 器 (这 是 必然 成 立 的 ， 因 为 该 检测 器 是 UMP 检 
测 器 ， 所 以 它 也 一 定 是 LMP 检测 器 )。 当 拉 普 拉 斯 噪声 密度 为 式 (3.2.11) 时 ， 有 
gle(X) 二 asgn(x)， 则 局 部 最 优 检测 器 是 对 信号 与 观察 数据 中 信号 的 符号 序列 作 相 关 ， 如 
图 3. 2. 6 所 示 。 在 这 种 情况 下 ， 函 数 ge(z) 称 为 硬 限 幅 器 。 对 于 用 柯 西 概率 密度 描述 的 
噪声 而 言 ， 其 概率 密度 为 


pw, (£) = 一 co < r <+ œ (3. 2. 20) 


ae Seve 
nQ +z)’ 





图 3.2.6 拉 普 拉 斯 噪声 中 的 局 部 最 优 检测 器 
它 具 有 比 拉 普 拉 斯 噪声 更 严重 的 拖 尾 。 此 时 ，ge(Cz) 王 2z/(1 十 六 ) 在 z=0 附近 近似 线 
性 ， 之 后 再 次 下 降 ( 渐 近 地 ) 至 零 ， 即 lim goCz) 一 0。 显 然 ， 检测 器 忽略 了 幅度 非常 大 
的 观测 值 。 图 3. 2. 7 给 出 了 该 检测 器 的 基本 结构 。 阻 塞 噪声 是 对 上 述 非 线性 的 一 种 近 
似 ， 具 体 为 


l <K 

1 WS (3. 2. 21) 

8 
0, |x|>K 


KH, & 为 大 于 零 的 常数 ， 常 用 来 消除 特别 强 的 脉冲 噪声 。 < 
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图 3. 2.7 柯 西 噪声 中 的 局 部 最 优 检测 器 


模型 3. 2.2 高 斯 噪声 中 的 确定 信号 检测 

如 果 式 (3. 2. 1) 中 的 噪声 样本 Nx 相互 不 独立 ， 即 使 在 确 知 信号 情况 下 ， 式 (3. 2.4) 得 
到 的 最 优 解 也 不 具有 式 (3. 2. 5) 以 外 的 任何 特殊 结构 。 不 过 ， 如 果 信 号 是 确定 的 (S; =, ) 并 
且 噪 声 向 量 N 服从 多 变量 高 斯 分 布 ， 则 最 优 检测 器 具有 非常 简单 且 易 于 实现 的 结构 ， 同 时 
能 分 析 与 之 相关 的 检测 性 能 。 此 外 ， 高 斯 噪声 的 假设 在 实际 应 用 中 比较 合理 ， 与 之 对 应 的 
最 优 系统 即使 用 在 非 高 斯 噪声 情况 下 也 能 具有 较 好 的 性 能 。 下 面 将 对 这 一 特殊 情况 进行 详 
细 讨 论 。 

假设 信号 S 的 取 值 已 知 且 s; ER"， 噪 声 向 量 N BAS. WHA Ly 的 高 斯 随机 向 
量 。( 由 于 通常 可 以 从 y 中 减 去 一 个 非 零 品 声 均 值 来 产生 新 的 零 均值 噪声 的 观测 数据 ， 因 
此 零 均 值 噪声 假设 不 影响 结果 的 一 般 性 ) 。 

对 于 均值 向 量 为 yAE{X)}E R" Aln Xn 协 方差 矩阵 为 加 全 E{(X 一 jp) (X 一 1)") 的 高 斯 
随机 向 量 ， 其 概率 密度 函数 为 


pie = -一 xER" (3.2.22) 


ay TET Een 
AH, [SKRE 的 行列 式 ， 允 ' 表 示 允 的 逆 。 该 随机 变量 服从 N(x， 允 ) 分 布 。 注 意 ， 协 
方差 矩阵 总 是 非 负 定 的 (对 于 所 有 xER, x Ex>0). wih, ÆR. 2.22, Bit XE 
正定 的 (xIEx 之 0， 对 于 除 x=0 MER XER"),. CMEC RRS IZ |SOA LD HE. A 
果 马 非 正 定 ， 则 意味 着 和 至 少 有 一 个 分 量 能 由 其 他 分 量 线性 表示 ， 即 存在 宛 余 。 除 非特 
别 说 明 ， 和 否则 在 处 理 高 斯 随机 向 量 时 均 假设 协 方差 矩阵 是 正定 的 。 关 于 高 斯 随机 向 量 的 分 
析 讨 论 ， 读 者 可 以 参考 Thomas(1986) 的 书 。 

利用 之 前 给 定 的 假设 $S; 和 N， 可 以 直接 计算 出 其 似 然 比 。 因 为 信号 是 已 知 的 ， 它 对 
观察 数据 Y 的 分 布 的 影响 只 是 在 NN 的 分 布 上 增加 了 一 个 均值 ， 所 以 在 H; 假设 下 (jij 二 0 或 
1), Y 服从 N(s;，BN) 分 布 。 可 以 得 出 似 然 比如 下 


pı) 
L = = 
ii po ly) 


1 
Garter a") Ey | 





1 
Tena Lac E FOTE ys) | 


= exp {sT Zx'y — s En y 一 Fst Enis, + Fst Enso | 
Tl So TS) ñ , 
= exp{ (si —s0)7EN (y— BF |, yER (S: 2 23) 


其 中 ， 在 倒数 第 二 个 等 式 中 ， 利 用 有 到 (因为 K ERT AREER. AMA s En y 5y ZN's;。 
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对 比 式 (3. 2.23) 与 对 应 的 标量 形式 ( 式 (2.2.27)) 可 以 发 现 : 此 处 考虑 的 问题 是 
例 2. 2. 2 中 高 斯 误差 下 位 置 检验 的 向 量 形式 ， 其 中 把 jy。 和 jy 替换 为 向 量 s。 和 s ， 而 把 噪 
PRE o 替换 为 噪声 协 方差 矩阵 n. 


基于 式 (3. 2. 23) 的 最 优 检测 形式 可 通过 求 对 数 进行 简化 ， 同 时 由 于 去 (5 — s) E (sy + 
51) 不 依赖 于 y， 所 以 可 被 合并 到 判断 六 值 中 。 因 此 ， 最 优 判决 可 表示 为 


(si — WW) Tiny > 7 


Iz 
G) = | CSi — So) TEN y = (3. 2. 24) 
Os Cs; — S) EN y E r 
式 中 ， r=logr+ 地 (8s) TD (so +81). 可 以 得 到 
(sı =m) Sy = FTy 一 > Taya (3. 2. 25) 
k=1 


AP, SSE (si 一 so)。 因 此 ， 当 实际 信号 s 用 “ 伪 信 和 号”S 代 替 后 ,该 检测 器 结构 与 
图 3. 2. 2b 中 的 相关 检测 器 完全 相同 。 所 以 ， 对 于 高 斯 情况 ， 相 关 噪 声 下 的 应 用 不 会 比 独 
立 噪声 更 困难 。 

下 面 将 对 式 (3. 2. 24) 所 给 出 的 检测 器 结构 作 进一步 分 析 。 首 先 考 虑 式 (3. 2. 24) 的 检测 
性 能 。 检 测量 TY) ACs) 一 %) En Y 是 高 斯 随机 向 量 Y 的 线性 变换 。 多 元 高 斯 分 布 的 一 个 
基本 性 质 是 高 斯 向 量 的 线性 变换 仍然 是 高 斯 的 。 在 这 种 情况 下 ， 该 变换 是 高 斯 向 量 到 R 的 


变换 ，T(GY) 是 一 个 高 斯 随机 变量 ， 因 此 可 以 通过 求 取 其 在 两 种 假设 下 的 均值 和 方差 来 完 
全 描述 它 在 H, AH 下 的 分 布 特性 。 在 H; 下 ，T(Y) 的 均值 由 下 式 给 出 
E(T(Y) | H,;}= E{(F'Y|H,) = FTE{Y|H,) 
= STE(N|IH,;}+ T's; = 3's, A py (3. 2. 26) 
RP, T= ss). XW, TYE H; eae 
var{ TY) | H,}= E{(STY — 37s,)? | H;} = E{(S™N)*) 
.一 E{S™NN™ F} = STE(NN™} 了 
= TB F = (8) — $8) En (8, 一 页) A a? (3. 2.27) 


注意 ，T(Y) 的 方差 与 假设 无 关 。 此 外 ， 驭 ' FERRE EN 仍 是 正定 矩阵 ， 即 除非 $1 =s, 
否则 a’ >o, 

通过 上 述 分 析 ， 可 以 在 H, 下 得 到 T(Y)~~N CG; d). 
素 时 ， 


该 结论 表明 ， 不 考虑 其 他 因 
RG. 2. 24) 中 的 随机 分 布 dn 因此 , 在 H; REFER A, 的 概率 如 下 


fe 
| ez) tn dx =e ==] G3. 2. 28) 





Pr 
1 ie 


RH, THRG. 2.204, d 是 d? 的 正 根 。 针 对 贝 叶 斯 问题 ， 则 可 以 将 式 (3. 2.205 
Min BA EL r 的 表达 式 来 简化 表示 ， 即 








1 一 @( 28+), j=0 
PY = ve ftp E (3. 2. 29) 
(“J 2 )， oe 
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对 比 式 (3. 2. 29) 和 式 (2. 2. 31) 可 以 看 出 ， 该 问题 的 贝 叶 斯 性 能 与 例 2. 2. 2 中 简单 位 置 检验 
的 性 能 相同 ， 式 (2. 2. 31) 中 的 4 就 是 式 (3.2.27) 中 n=1 时 的 4d。 类 似 地 ， 极 小 化 极 大 风 
险 假设 检验 以 及 尼 曼 -皮尔 逊 假设 检验 的 性 能 和 阔 值 选取 也 与 例 2. 3.1 以 及 例 2.4.1 的 标 
量 情况 相同 ， 即 将 式 (3. 2. 28) 中 的 忆 和 4d 等 同 于 式 (3. 2. 30) 中 的 yy 和 o。 例如， 对 于 显著 
性 水 平 (或 虚 警 概率 ) 为 a 的 尼 曼 -皮尔 逊 检测 ， 可 通过 假设 Pro) = P (M1) =a 来 得 到 
a KEI l 

r = dB (1 — a) + o (3. 2. 30) 
其 对 应 的 检测 概率 为 


Pye) = POR) = 1 oF Ge )=1 OS U—g—dy (3.2.31) 


对 比 式 (3.2.31) 和 式 (2.4.16), 一 般 情 况 下 ,该 问题 的 检测 概率 曲线 和 ROC 即 为 
图 2. 4. 3 和 图 2. 4. 4。 

接 下 来 的 备注 将 讨论 高 斯 噪声 下 检测 相干 信号 的 一 些 特性 。 

备注 3.2.1 a? 详解 

在 前 面 的 讨论 中 ， 我 们 知道 高 斯 噪声 的 最 优 确定 性 信号 检测 性 能 一 般 随 d 的 增加 而 单 
调 提高 。 正 如 例 2.4.2 所 示 : 4 的 取 值 (或 者 用 其 平方 更 合适 ) 可 以 用 来 衡量 信 品 比 。 为 了 
说 明 这 一 点 ， 先 考虑 在 例 3. 2. 1 中 所 讨论 的 情况 。 其 中 信号 so 二 0，si 一 s*， 独 立 同 分 布 噪 
FRANO, oa, MM 到 = 天 工 的 多 变量 高 斯 分 布 , I 表示 nXn 单位 矩阵 ， 即 








o 0 0 ose 0 
0 o 0 0 
Ev= |: i ; (3. 2. 32) 
0 
2 
o 
此 时 En =o “I， 则 ?为 
TIs _ s's 1 Š s 
d = in =s te sO S a 8 6.2.89) 
Csi So) EN Cs; So 7 = E as a 


式 中 ， ER 为 信号 的 平均 能 量 . 注 意 ,o? 和 1 DE(N?) 是 噪声 的 平均 能 量 ,而 d? 在 


n n 
此 处 由 信号 和 噪声 的 平均 能 量 比 乘 以 样本 数 给 出 .因此 , 增 大 它们 中 任何 一 个 的 取 值 都 可 以 
提升 检测 器 性 能 , 且 随 着 它们 任 一 个 值 的 增加 ,都 能 达到 最 优 性 能 。 
在 非 独 立 同 分 布 和 so 二 0 Ro =s 的 情况 下 ， 同 样 可 得 到 有 关 a? 的 类 似 表 述 。 特 别 


地 ， 在 式 (3. 2. 10) 中 ， aT Faye 视 为 线性 时 不 变 滤 波 器 在 ”时 刻 的 输出 ,其 中 滤波 器 
的 脉冲 响应 为 


Far kni 
m= 4 : =e (3. 2. 34) 
0, 其 他 


如 果 该 滤波 器 的 输入 只 由 信号 5 ，…，s, 组 成 ， 则 n 时 刻 的 输出 为 


Tisa = S'ENS = d? 


ar 


=1 
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因此 ， 在 采样 时 刻 与 信号 对 应 的 输出 能 量 为 41。 另 一 方面 ， 如 果 滤 波 器 输入 只 为 噪声 ， 则 
n 时 刻 的 输出 为 随机 量 FAN,, 对 应 的 能 量 为 


E{(》 TN) }= E(CSrN)z) = d (3. 2. 35) 
上 式 中 利用 了 式 (3. 2.27). HFE: 来 说 ， 信 号 和 了 噪声 分 别 对 应 的 输出 能 量 之 比 可 表示 为 


一 2 
(>) Fist) 
k=1 
n 


E(X TN) } 
显然 ， 在 一 般 意 义 上 ，d? 的 取 值 可 理解 为 最 优 检 测 器 所 决定 的 滤波 器 在 采样 时 刻 ”的 输出 
信 噪 比 。 输 出 SNR 越 高 ， 通 过 比较 样本 输出 与 阅 值 来 检测 信号 的 性 能 就 越 好 ， 这 也 与 之 
前 所 述 检 测 性 能 是 d? 的 单调 递增 函数 相 吻 合 。 

TER. FE n 时刻 ， 式 (3. 2. 34) 描 述 的 滤波 器 hi 的 输出 信 品 比 是 所 有 脉冲 响应 长 度 为 n 
的 线性 滤波 器 的 最 大 值 (参见 习题 1) 。 由 于 该 结果 只 依赖 于 N 的 零 均 值 以 及 方差 为 怠 v， 
因此 即使 非 高 斯 噪声 情况 下 该 结论 依然 有 效 。 然 而 ， 式 (3. 2. 34) 的 最 优 性 在 贝 叶 斯 假设 检 
验 、 极 小 化 极 大 风险 假设 检验 与 尼 曼 -皮尔 逊 假设 检验 下 与 高 斯 噪声 的 假设 密切 相关 。 

对 于 一 般 信 号 来 说 ， 独 立 同 分 布 情况 下 的 d 取 值 也 有 另 一 种 解释 。 此 时 ， 有 


d = SIs; -s |? (3. 2. 37) 


== a (3. 2. 36) 


其 中 Ils, — So | 表示 信和 号 向 量 So 和 si 的 欧 氏 距离 


ds sls [Z u] 

从 上 式 中 可 以 发 现 : 信号 向 量 距 离 越 远 ， 得 到 的 检测 性 能 就 会 越 好 。 在 非 独立 同 分 布 噪声 
情况 下 ， 我 们 同样 可 以 得 到 类 似 的 结论 ， 具 体 分 析 将 在 下 节 中 论述 。 

备注 3.2.2 简化 为 独立 同 分 布 噪声 情况 

由 于 Ey 是 nXn 的 对 称 正定 矩阵 ， 可 以 用 它 的 结构 特性 来 进一步 认识 最 优 检测 系统 。 
一 个 2Xz KM Dy AGEN AL, oe) An 和 其 对 应 的 特征 向 量 wu ，…，uw 是 满足 Eo = 
Aw: 的 解 (矩阵 的 特征 值 是 唯一 的 ， 但 特征 向 量 不 唯一 )。 由 于 Ey 为 对 称 的 正定 矩阵 ， 其 
特征 值 为 正 实数 ， 且 特征 向 量 的 选取 可 满足 正 交 性 (对 于 所 有 的 L & 一 1，…，7?， 如 果 
kl, @ viv: =0 Ñ viv. =1 成 立 )。 进 而 可 以 将 Ly BH 


Ev = Dj Aàwwi (3. 2. 38) 
k=1 


RG. 2. 38) 称 为 Ly ASDA. HARET DA find EA ERE ERA os oy, 构 
成 空间 R 的 一 组 基 来 证 明 ( 正 如 在 R" 中 用 n 个 线性 不 相关 向 量 来 表示 任意 的 TER"“)。 注 





O 事实 上 , 对 于 任意 的 x © RMA x = Slam 和 cx = vix, 因 此 可 以 得 到 
k=i 


Enz = DoEnvl = J àw = J Mvivir = (> MkokoE )x 
k=l k=1 k=1 k= 1 
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To EE vel 乘 以 一 个 向 量 x， 可 以 得 到 x 在 v 方 向 的 投影 。 利 用 式 (3. 2. 38) ， 可 直接 得 
到 Zvi = Dar vis 进而 可 将 最 优 检测 器 的 统计 量 T(y) 表 示 为 


TO) = (8; 一 so)TZNy = >) Gu — Sa) Ja (3. 2. 39) 
k=1 
其 中 
Se = y/u k=1,,n (3. 2. 40) 
和 


Se = vis;/ Var, k= 1,.…,n, 7 三 0,1 


TER. y 可 以 由 组 过 y = > Vas Sede 得到, 因此 3 与 y 是 等 价 的 观测 数据 。 对 Y($ 对 应 的 
随机 向 量 ) 来 说 ， 其 关于 式 (3. 2. 1) 的 假设 检验 对 可 以 写 为 
Ho:¥ = N+ 
Hi:Y = N+$ 
SPN, =u:N/J/ke. HF NEN 的 线性 变换 ， 因 此 它 同 样 是 高 斯 随机 向 量 ， 且 满足 
E( Ñ, Ni}= E{vINvVIN}/ Vidi 
= E{ V] NN" v) / Vadi 
= viE{NN"}v,/ Sidi 


= vilyv,/ VAr = viv, VAz/AL (3. 2. 42) 
上 式 利 用 了 vi 是 Bw RPE PEI. Hd. e’ vo, 的 正 交 性 ， 式 (3. 2. 42) 可 以 表 
示 为 


(3. 2. 41) 


A A l; k =f 
E(N, N;} -1 (3. 2. 43) 
O, &Ad 
Fit, Ni» s+, Ñ, 为 服从 N(0，1) 的 独立 同 分 布 随 机 变量 。 对 观测 Y 进行 适当 的 线性 变 


换 后 ， 可 将 非 独立 高 斯 噪声 下 的 检测 问题 转化 为 独立 同 分 布 高 斯 噪声 下 的 等 价 问 题 。 
式 (3. 2. 39) 给 出 了 转换 后 的 最 优 检测 量 。 

本 质 上 讲 ， 上 面 所 做 计算 的 就 是 将 最 初 在 R 上 的 标准 坐标 系 转换 成 一 个 坐标 轴 平 行 
于 向 量 w ，…，u 的 坐标 系 。 在 变换 后 的 坐标 系 中 ， 噪 声 的 坐标 Ni ，…，N, 是 独立 的 。 


n 


也 可 以 从 另 一 个 角度 来 看 待 坐标 系 转换 问题 : 令 Ey = B? ,其 中 B 二 SYA owl En 的 平方 


根 ) ERE BK BABY = ao HE Er = B’ a (B') WRENN s = B's, H 
y” =B'y MA 
Csi — s) TEn y = (sf — so Ty" (3. 2. 44) 
eat, Æ H; REP, AY  =N'+s;, HPN =B N. HMA 
E(N* (N* )'} = E({B'NN'B') = B'E{NN'3B' = B'E\B' = B' BBB =I 
即 NY ，…，N; 是 服从 N(0，1) 的 独立 同 分 布 变 量 , 它 与 上 文中 观测 数据 了 类 似 .事实 上 ， 
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由 于 =D) Yarn MY" = D 训 ee, 因 此 Y” 和 多 是 不 同 坐标 系 下 的 相同 随机 向 量 ,其 中 
el,…，e 是 R" 空间 的 标准 基 向 量 , 即 e 是 第 个 元 素 为 1. 其 他 元 素 为 0 的 向 量 。 

在 独立 同 分 布 噪声 条 件 下 ， 以 其 他 方式 对 观测 向 量 Y 进行 转换 ， 也 同样 可 以 得 到 等 效 
的 观测 数据 。 特 别 地 ， 因 为 Dy 是 正定 的 ， 也 可 以 写作 

Jy = cc C3: 2: 45) 

其 中 C 为 一 个 nXn HTA TF = A EC 的 所 有 上 对 角 元 素 为 0)。 式 (3. 2.45) 为 In 的 
Cholesky 分 解 ， 有 多 种 标准 算法 可 从 Ly 中 求 出 C[ 参 考 Bierman(1977)]， 且 有 Xp = 
(CIC 一 (CD)TC 1!。 在 定义 新 的 观测 数据 7 二 C 'Y 二 C 'N 十 C!s; AN 十 5 后 ， 可 直接 
得 到 N~N(0， 了 有 。 显 然 ， 我 们 再 次 得 到 独立 同 分 布 噪声 情况 下 的 最 优 检测 器 为 (5 一)TY。 

值得 注意 的 是 ， 在 上 述 转换 过 程 中 ，C 是 下 三 角 和 矩阵 ， 意 味 着 C-!: 也 是 一 个 下 三 角 拢 
阵 。 因 此 可 以 得 到 


Yy = Sheu (3. 2. 46) 
其 中 a, BC 1! 的 第 一 /个 元 素 。 注 意 ， 式 (3. 2. 46) 对 应 因果 运算 ， 这 意味 着 I. > D, 
可 由 yi:，…， 因果 、 线 性 滤波 得 到 ， 且 该 滤波 器 可 能 是 时 变 的 。 又 因为 该 滤波 器 的 输 


出 噪声 是 白 噪 声 ( 独 立 同 分 布 )， 所 以 也 称 为 白化 滤波 器 。 式 (3. 2. 24) 对 应 的 最 优 检测 器 结 
构 可 以 表示 为 一 个 因果 线性 滤波 器 与 一 个 相关 器 的 级 联 (如 图 3. 2.8 所 示 )。 其 中 ， 滤 波 器 
的 脉冲 响应 为 {hi,,}， 输 入 为 mm，…，ww。 相 关 器 的 作用 是 将 观测 数据 y;，…，y, 通过 滤 
波 器 的 输出 与 差分 信号 (一 s)，…，(C 一 sm) 通过 相同 结构 滤波 器 的 输出 
(S11 So), tes Gin — Son FHR. 


(s Soe) 





图 3.2.8 非 独 立 高 斯 噪声 下 相关 信号 的 最 优 检 测 器 


最 后 需要 注意 ， 信 品 比 4d? 二 (si 一 so)TEw1 (si 一 so) 可 以 用 任意 一 个 变换 后 的 信号 对 进 
行 表示 ， 即 


d=| — 8 |)? = Ist = sè |? = | sl (3. 2. 47) 
由 此 可 以 发 现 ， 在 非 独立 噪声 下 相干 信号 检测 的 性 能 依赖 于 信和 号 在 转换 后 的 新 坐标 系 ( 噪 
声 分 量 满足 独立 同 分 布 特性 ) 下 的 距离 [与 式 (3.2. 37) 比较 ]。 注 意 ， 在 式 (3. 2.47) 中 的 三 
个 信和 号 对 是 等 距 的 ， 这 是 因为 它们 都 是 相同 向 量 对 在 不 同 坐 标 系 下 的 表示 ， 而 坐标 系 之 间 
仅 存 在 旋转 变换 。 
备注 3. 2.3 信号 选择 | 
高 斯 噪声 中 的 最 优 相干 检测 器 可 以 通过 增加 d’ = Csi — so) TEN (si 一 so) 的 值 来 提高 性 
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能 。 在 很 多 相干 信号 检测 的 具体 应 用 中 ,通常 来 说 在 选择 信号 so 和 si 时 都 会 比较 灵活 。 
在 这 种 情况 下 ， 选 择 能 够 最 大 化 d 的 信号 形式 将 更 加 合理 。 


正如 之 前 的 讨论 中 提 到 的 , Zw = Sarto? ;其 让 ArstttsAn 和 v1，,… sOn 是 特征 值 和 对 
应 的 正 交 特 征 向 量 。 因 此 ,对 于 任意 向 量 x COR", 都 可 以 得 到 


x Enix 一 Spe pls <= Ania Tfno (3. 2. 48) 
FEB Amin = minl, tts Ano BFO = 
>) x" vie = x" (S)owtx)= XIX = |x|? 
可 得 
x Sve < Aah |x|? (3. 2. 49) 


Mm SERN, “4 AMY x Eke F MEE A min XT PE NY, R. 2. 49) 才 取 等 
号 。[ 如 果 Am 对 应 多 个 特征 向 量 ，x 可 以 表示 成 这 些 特征 向 量 的 任意 线性 组 合并 且 同 样 能 
够 使 式 (3. 2. 49) 成 立 ， 因 为 这 些 特征 向 量 的 线性 组 合 仍 是 Man 对 应 的 特征 向 量 。] 

从 以 上 分 析 中 可 以 看 出 ， 对 于 一 个 固定 的 |s 一 s%|‖， 选 择 差分 信号 s1 一 so 的 最 优 方式 
是 沿 着 最 小 特征 值 对 应 的 特征 向 量 方 向 。Zw 中 的 特征 值 表 示 其 对 应 特征 向 量 方向 上 的 噪 
声 能 量 。 因 此 ， 将 信号 沿 着 最 小 特征 值 对 应 特征 向 量 的 方向 差分 与 沿 着 噪声 最 小 的 方向 差 
分 是 等 效 的 。 通 过 这 样 处 理 后 ， 可 以 得 到 4? 的 值 如 下 


gi = Jls: -s |? (3. 2. 50) 


一 旦 选 定 了 信和 号 差分 s 一 so 的 方向 ， 就 可 以 进一步 通过 最 大 化 |s: 一 so|: 来 优化 性 能 。 
显然 ， 如 果 不 对 信号 进行 约束 ，|si 一 so 上 的 值 可 以 任意 大 。 考 虑 到 信号 的 总 能 量 通常 是 
固定 的 ， 在 对 式 (3. 2.50) 的 优化 问题 中 需要 加 入 这 一 约束 。 特 别 地 ， 如 果 假 设 |s: 上 入 P 
Alls. |?<P, HR 0 二 P 二 co ， 可 以 得 到 


= si =), 一 ay = ls |? —2sTso + Iso 2) (3. 2. 51) 


其 中 ， SÌ So FE so 和 si 的 内 积 ( 点 乘 ) 。 对 于 固定 的 |s |? All liso ||’, wW |s || A || so | 方向 相 

Ri, Wests. 可 以 最 小 化 ， 从 而 使 得 d? 最 大 化 。 例 如 so 二 as1， 其 中 a 二 0。 此 时 ， 可 以 得 到 

ls |?’ —a)? 
Ania 


d = Lfs |? — alsi 1? +a lsi 2) = (3. 2.52) 


att a= — iet, piit, FRR s NAs Ne d 的 最 大 值 为 


— Usl ls D? 


min 


d? 





观察 可 知 ， 通 过 选择 |s: |= ls | =P. d 的 值 可 以 被 进一步 最 大 化 ， 此 时 有 e51 和 
C3- 2.53) 


Ils, I? <P A min 
由 于 在 选择 s 一 % 时 是 沿 着 最 小 特征 值 对 应 的 特征 向 量 ws 方向， 因此 可 以 通过 选择 si 一 
cvmm 和 so 二 一 si 来 满足 式 (3. 2. 53) 的 要 求 ， 其 中 ce 的 选取 应 保证 |s = |s |? =P. B c= 
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VP/ | Vmin ， 相 应 的 最 优 信号 由 下 式 给 出 


sı = VPv min/ lOmin lls so =— sı (3. 2.54) 
下 面 举例 说 明 上 述 概 念 。 
GED 双 样本 检测 下 的 最 优 信号 
在 ”一 2 时， 有 
Es =o | d (3, 2.58) 
p 1 


FEA | o| <1, Ly 的 特征 值 和 对 应 的 正 交 特征 向 量 如 下 
Ai =o (1— 9); Az =P A ++p) 


= 号 | -11) (3, 2. 56) 
vı 万 —] ’ D2 S 1 è De 
因此 ， 如 果 o>0， WA Amin = 且 最 优 信和 号 为 
1 =i 
S = Pz). «= VE7| i C3. Ze 97.) 
相应 地 ， 如 果 p=0， 则 有 Amin =A: 且 最 优 信 号 为 
—1 
S = vra So = Pa| | (3. 2:58) 


在 这 两 种 情况 中 ，d? 的 最 大 值 均 为 
g= 4P 
a’ (1— |p|) 
信号 的 最 优 性 可 以 由 图 (3. 2. 9) 中 的 相同 密度 等 高 线 得 到 。 需 要 注意 的 是 ， 这 两 种 情况 中 
信号 向 量 都 是 在 噪声 密度 下 降 最 快 的 方向 ， 因 此 对 于 固定 的 P、o 和 o， 可 以 得 到 最 大 的 
信 噪 比 。 此 外 ， 就 选择 最 优 信号 而 言 ， 只 需要 知道 o 的 符号 ， 而 不 需要 其 真实 值 。 4 


3 


(3. 2. 59) 


p>0 





a) . b) 


图 3.2.9 Euo (7) AN To OS 


模型 3. 2. 3 ”随机 参数 信号 检测 
模型 3. 2. 1 和 3. 2. 2 讨论 了 两 个 信号 对 于 观测 者 完全 已 知 时 的 判定 问题 。 然 而 在 许多 
实际 应 用 中 ， 需 要 面临 部 分 参数 未 知 的 信号 判决 问题 。 这 类 问题 通常 会 出 现在 数字 通信 系 


第 3 章 离散 时 间 信 号 检测 


统 中 ， 例 如 在 发 射 端 将 两 个 波形 (分 别 表示 “0” 或 “1”) 之 一 调制 到 正弦 载波 上 ， 而 接收 端 则 
需要 判定 发 射 的 是 两 者 中 的 哪 一 个 。 虽 然 两 个 发 信号 的 波形 和 载波 频率 在 接收 端 是 已 知 
的 ， 但 是 其 幅度 和 载波 相位 却 有 可 能 是 未 知 的 。 因 此 ， 在 检测 过 程 中 必须 考虑 这 些 表征 未 
知 参 数 的 量 。 类 似 地 ， 在 雷达 、 声 呐 以 及 其 他 一 些 应 用 中 ， 需 要 检测 信号 的 频率 、 到 达 时 
间 ， 以 及 幅度 等 未 知 参 数 。 
对 于 这 一 情况 ， 为 了 方便 起 见 ， 可 以 将 式 (3. 2. 1) 写 为 

万 :三 和 十 SC0)， k= 1 

HY = Np Esnia k= lyan 
Hh, sOMs (0) 是 0 的 已 知 向 量 值 函数 ， 其 中 0 是 在 参数 空间 A 上 取 值 的 未 知 参数 。 
假设 0 随机 ( 记 作 9) 且 在 A; 假设 下 的 密度 为 w;， 则 式 (3. 2. 60) 的 似 然 比 可 以 写 为 


(3. 2. 60) 


E, {p(y —s,(@))} 加 PAS sı (O))ar (0) nC da) 


Ly) = Ep, Cy = @))) A 





(3. 2. 61) 
PCY — so CO) an (O) 2d) 
为 了 进一步 分 析 ， 假 设 so (@=0, 5, (0) As(9)( 由 于 其 他 情况 可 进行 类 似 处 理 ， 这 里 不 作 
分 析 )。 相 应 地 ， 有 

旋 (一 SCO)) 

=, P,O) 

其 中 L(y) 是 在 9==9 条 件 下 的 似 然 比 ， 并 且 去 掉 了 w 的 下 标 。 从 式 (3.2. 62) 可 以 发 现 : 
此 时 的 L(y) 只 是 对 于 已 知 9 的 简单 平均 似 然 比 。 在 9 已 知 时 ， 式 (3. 2. 60) 是 一 个 确定 性 的 
信和 号 问题 ， 因 此 Ls(y) 可 以 利用 模型 3.2.1 和 3.2.2 的 方法 直接 求解 。 例 如 ， 对 于 服从 
AN/(C0o,， 吓 ) 的 独立 同 分 布 噪声 样本 ， 工 (7) 变 为 


L(y) =| exp|[s*@y — 7s P fo ZOC (3. 2. 63) 
A 


类 似 地 ， 对 于 非 独立 同 分 布 高 斯 噪声 情况 ， 式 (3. 2. 63 AREA. P oS, y, sO 
经 过 预 白 化 后 的 变量 。 一 些 应 用 中 可 能 会 出 现 这 类 问题 ， 具 体内 容 将 在 下 面 的 例子 中 进 一 
步 说 明 。 

正弦 载波 调制 信号 的 非 相干 检测 

考虑 信号 对 so (0) =0 和 si (O=s(O), KH 

s (0) = asin[ (k — Do.T, +0], k= 1 esn (3. 2. 64) 

其 中 ，w ，as，…，a， 为 信号 的 幅度 序列 ，@ 是 与 噪声 独立 且 均 匀 分 布 在 L0，2rj] 区 间 上 
的 随机 相 角 ，w. AT, 分 别 表示 载波 频率 和 采样 间隔 ， 满 足 nw, T, =m2x H m 为 整数 (在 时 
间 段 L0，zT.] 内 有 整数 个 正弦 波 周 期 )。 再 假设 正弦 波 每 个 周期 的 采样 数 n/m 是 大 于 1 的 
整数 。 下 面 以 开关 键 控 (OOK) 为 例 来 说 明 具 体 的 信号 产生 模型 。 在 这 种 情况 下 ， 
[0，nT.] 间 隔 内 什么 都 不 发 射 代表 “0”， 而 发 射 a(7) 调 制 的 正弦 波 代 表 “1”"， 此 时 ， 序 列 
ais as s a, 是 波形 a(z) 的 采样 ,9 表示 接收 端 未 知 的 载波 相 角 。 接 收 端 载波 相位 未 知 
的 调制 载波 检测 称 为 非 相 干 检测 。 通 常 来 说 ， 假 设 相 角 在 L0，2x] 区 间 上 服从 均匀 分 布 ， 
即 所 有 的 相 角 都 有 可 能 发 生 ， 如 果 没 有 与 本 假设 相 矛 盾 的 先 验 信息 ， 假 设 也 是 合理 的 。 

假设 噪声 独立 同 分 布 并 且 服 从 NM(C0， 呈 ) 分 布 ， 利 用 式 (3.2.63)， 检 测 问题 的 似 然 比 


w(O) pnd) = i Le (yw) pd) (3. 2. 62) 
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可 以 写 为 


L(y) = pI "exp| 4 (Xss — zy) ao (3. 2. 65) 


k=1 


利用 sinCa+6)=cosasinb+sinacosh 这 一 性 质 ， 式 (3. 2. 65) 指 数 项 括号 中 的 第 一 项 可 以 写 


为 S se = y.sind+ y,cos@, 其 中 
k=1 


ye A Daryrcos[(R— DowT], y, a Payrsin[(k— lw.T] (3. 2. 66) 
类 似 地 ， 利 用 sin?a 一 去 一 去 cos2a 这 一 性 质 ， 指 数 项 括号 中 的 第 二 项 可 以 写 为 


-450 = Sai HD aicos(2 一 DwT +20) (3.2.67) 
k=1 k=1 k=1 


在 大 多 数 实际 情况 下 ， 式 (3. 2. 67) 右 边 第 二 项 对 于 所 有 0 均 为 0 或 近似 为 0。 例如， 如 果 
信和 号 序列 a: azs oy a, 是 常数 乘 以 士 1 序列 ， 或 者 al ，as，…，a, RARR ZER = 
AL[1 一 cos((R 一 1)2r/(Cz 一 1))]，& 王 1，…，72， 那 么 第 二 项 就 为 0。 在 其 他 情况 下 ， 相 对 
于 两 倍 杂 波 频率 而 言 ，af ，…，a? 变换 缓慢 。 所 以 第 二 项 就 等 同 于 对 高 频 信 号 进行 低 通 滤 
波 ， 其 输出 是 可 以 忽略 的 。 在 任何 情况 下 ， 均 假设 ca azs s an 使 得 第 二 项 对 所 0 均 为 
0， 那 么 L(y) 将 变 为 


LO) = ethe yg ae), exp {ap sing + ycos0) dé (3. 2. 68) 
27J 0 o 
其 tha? = at 
式 (3. 2. 68) 54] 2.5.1 中 的 似 然 比 相似 ， 比 较 式 (3. 2. 68) ASK (2. 5.17) 可 以 得 到 
LO) = e™ I, (r/o) (3. 2. 69) 


其 中 r=Lyt ty]? AM Io 是 第 一 类 零 阶 修正 贝 塞 尔 函 数 。 考 虑 到 1 RABE, RH 
检测 器 可 以 写 为 


A p Te (rem /sr ) 
SG。(y) = Ys r= r Ao Is (re) (3. 2. 70) 


0, r<r a dI (re) 

该 检测 器 的 结构 如 图 3.2.10 所 示 。 需 要 注意 的 是 ， 观 测 信 号 ys > on 被 分 离 到 两 个 通 
道 : 第 一 个 通道 对 每 个 ya RA cos[(& 一 1)w。T,]; 男 一 个 通道 对 每 个 ys RA sinl(k—D wT, ] 
(这 两 个 通道 分 别称 为 同 相 和 正 交 通道 ) 。 每 个 通道 将 乘积 的 结果 与 幅度 序列 ac ，a ，…，w 
进行 相关 后 ， 对 相关 的 结果 再 进行 组 合 得 到 >， 并 与 浆 值 进行 比较 (该 结构 通常 也 称 为 包 络 
检测 器 ) 。 直 观 上 看 ， 对 于 一 个 给 定 信 号 ， 检 测 器 的 每 个 通道 都 会 获得 一 定 的 信号 能 量 ， 
具体 值 取决 于 载波 的 实际 相位 。 但 是 ,无 论 载波 相位 如 何 变化 ， 联 合 两 个 信道 后 便 能 获得 
信号 的 全 部 能 量 。 

为 了 分 析 式 (3. 2. 70) 检 测 器 的 性 能 ， 需 要 计算 P (R>r) =P (R>), 其 中 j= 二 0, 1。 


HE R'=VI+Y?, HH, Ya SaYo k DaT], Y.A È aYrsin[ DaT], MR 
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cos ( (k-1) œT) 
Yk 
sin ( (k-1) œT) 


图 3.2.10 高 斯 噪声 中 正弦 波 调制 信号 的 非 相 干 最 优 检 测 器 


要 求解 的 概率 可 以 从 Y。 和 YY, 在 两 种 假设 下 的 联合 概率 密度 函数 得 到 。 在 H, BRF, Y 
RANO, oP Dati, AF Y. MY. 相对 于 Y PRA RRA, AMENE H, 下 是 联合 
高 斯 的 。 因 此 ， 可 以 通过 Y. AY. 的 均值 和 方差 以 及 它们 之 间 的 相关 系数 来 确定 (Y.，Y,) 
E H, 下 的 的 联合 密度 。 经 过 计算 ,均值 可 表示 为 

EY: lHa = Si UN hoa Ck — Dw.T,] = 0 


k=1 


方差 为 


var[Y。| Ho J= E{¥?| Ho} = >) J aa iE {N,N} X cosl(k— Dw. T, Jeosl (7 — Dw. Te] 


k=1 l=1 


=ð Dy acos [Ck —1)w.T.] = Ea 
其 中 再 次 利用 了 式 (3. 2. 67) 中 第 二 项 对 于 所 有 0 均 为 零 这 一 假设 。 类 似 地 ， 有 EY, |H) =0 和 
var{Y, | Ho}=var{Y.| Ho}. Y. 和 YY, 在 Ho 假设 下 的 相关 系数 为 cov(Y.， YY. | H.)/[var(Y. | Ho) 
var(Y,|H))}”. AF Y. MY, 在 H FHEA 0, AA 
cov(Y.,Y, | Ho) = E{Y.Y. | Ho} 





= >) J aa, E{N,N,}cos[ k — Dw. T. Jsin[ Cl — DoT, ] 


k=1 l=1 


= ø S ażcos[(k — 1)w. T, ]sin[ (k — 1w T, ] 


k=1 


pA n 
= 5 Ddiaisin[2(k — 1)w.T.] = 0 (3.2.71) 


k=1 


由 式 (3. 2.71) AA Ho 假设 下 Y MY. 是 不 相关 的 。 此 外 ， 由 于 它们 是 联合 高 斯 的 ， 从 而 
也 是 独立 的 。 

X EIR, 在 Ho F, Y. ALY, 是 独立 且 服从 NMN(0，zc? 于/2) 分 布 的 随机 变量 。 需 要 
注意 的 是 ， 它 们 的 随机 化 是 不 相关 的 ， 所 以 式 (3. 2. 70) 的 虚 警 概率 变 为 
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Po, tr) wth L oltobin dy. dy, 
tye +32 Str)? } rno? a 
al T pe t/n? a drdy 
nno’ a i 
= (3. 2. 72) 


其 中 ， 第 二 个 等 号 引入 了 极 坐 标 系 下 的 r+ 和 y。 

为 了 确定 式 (3. 2.70) 的 检测 概率 ， 需 要 获得 Y. ALY. 在 Hi 下 的 联合 密度 。 对 于 给 定 
的 O=0, YEH, FRANGO, a 了 的 条 件 分 布 。 因 此 ， 对 于 给 定 的 8=9，Y。 MY, 是 
条 件 联 合 高 斯 的 ， 进 而 可 以 直接 得 到 


E{Y.| Hi,0 = 0}= Duk (Ys |H1,0 = 0) cosl (k — Da. Ts] 
k= 


= Sal sin[ (k — 1)w.T, +8]cos[ Ck — 1) Ts] 


类 似 地 ， 还 可 以 得 到 E(Y,|H,, @=0}=(na?/2)cosd, SOHN, hF YKE TH 
fi, ALY. MY, 在 H 下 的 方差 和 协 方差 和 互 。 假设 相同 。 
Y. 和 YY, 在 H 下 的 全 概率 密度 可 以 通过 对 0 的 条 件 密度 进行 平均 得 到 ， 即 
Pry, eys |H) = an — sexp|— 一 i J Ye ys; 2 9) hag 
no 


2nJo nno’ a’ 


ae 992 
= pror, (yel Hoe To ( 


1/2 
itl) (3. 2. 73) 


其 中 ， Py, Yer ys | Ho) Æ Y. MY, 在 Ho 下 的 联合 密度 ， gq 与 式 (2. 5. 14) 中 定义 的 g 相 
同 。 因 此 ， 式 (3. 2. 70) 的 检测 概率 为 
Pb (6) = Pi (1) =|. Py 2A (ye»ys | Ai ddy. dys 


(tec? 


na a / ho 2r 
三 |， |, re" ? Ino? a? In ( (=) drag 


xno’ a’ 





= Zze PORT, (br )dx A Qst) (3. 2. 74) 


其 中 第 三 个 等 式 定义 了 如一 na?/20? M ro =r/’b, HFA x BH r/o'd, RG. 2.74) PEM 
的 函数 称 为 Q Bak. Wah, ERG. 2.72), QO, zt) 二 Pr (56。)。 
由 式 (3. 2. 72) 容 易 设 定 虚 警 概率 为 a JE BR EY AR BHE A 
= [no’ a’ log(1/a) 1 C3, 2 75) 
从 上 式 可 以 得 到 式 (3. 2. 74) 的 ROC 为 
Po) = QLb,[2log(1/a) |”? J (3. 2. 76) 
接收 器 的 这 些 工作 特性 与 相干 问题 ( 见 图 2.4.4) 非 常 相 似 ， 在 Helstrom (1986) 中 的 
图 5. 4. 3 也 可 以 找到 其 特性 曲线 。 
从 式 (3. 2.76) 可 以 看 出 ， 尼 曼 - 皮 尔 逊 检测 器 的 性 能 仅 依赖 于 参数 5。 考虑 到 平均 信和 号 
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能 量 为 


isis = 1 Lf” Sasin = £ 
E{-; 24@| r ala 2yaisin’ Lk — DoT, + 0140 = 


wfs 


因此 ， 与 相干 检测 中 的 d’ 相似 ， 六 一 加 7 也 可 以 理解 为 信 品 比 ， 如 果 检 测 相 同 的 相干 信号 
OBAD, M a? 相应 的 取 值 为 


n = 
d= 5 )9@ = 3S =F (3. 2.77) 


O k=l 
因此 ， 这 两 个 信 噪 比 实际 上 是 相同 的 。 但 是 ， 对 于 固定 的 < 来 说 ， 两 个 检测 器 的 性 能 在 
b=d 时 是 不 同 的 。 考 虑 多 数 实际 情况 中 SNR 和 a 的 范围 后 ， 有 
Q[b,[2log(1/a)]”?] = 1 — SLS (1 — a) — d] (3. 2. 78) 
其 中 b~d+0. 4[ 见 Helstrom(1968)]。 因 此 ， 相 对 于 相干 检测 技术 来 说 ， 如 果 采 用 非 相干 
检测 技术 ， 就 需要 更 高 的 SNR 来 达到 相同 的 性 能 。 相 干 检测 的 缺点 在 于 需要 利用 其 他 途 
径 来 得 到 载波 相位 。 
总 结 上 例 可 以 发 现 ， 似 然 比 推导 过 程 可 以 用 在 信和 号 形式 与 式 (3. 2. 6) 相 同 ， 但 不 同 假 
设 下 的 幅度 序列 存在 差异 的 模型 中 。 例 如 
Sa (0) = ossin[L(R 一 1)osT +0]; k=1, "sn (3. 2. 79) 
其 中 ;二 0，1。 对 原 假设 检验 问题 增加 仅 有 噪声 的 第 三 种 假设 后 ， 独 立 同 分 布 噪声 下 的 似 
然 比 可 由 式 (3. 2. 69) 得 到 。 特 别 地 
E (p (一 SC@))} E {p (y—s1@)/p, (y))} O LO) 
E {p 9m s0) Elp, 7 一 9%(6)/ O LO) 
其 中 三 (7) 是 第 三 种 假设 相对 H; 的 似 然 比 。 由 式 (3. 2. 69) 可 以 得 到 
emi (oz 


本 
e nao /4o Ip (ro /o") 


L(y) = 








L(y) = (3. 2. 80) 


其 中 ,中 = A/a) ako, = [yh +93)”, HA yg = Dy anyrcosL Ck — DoT ]iyy = 
k=1 k=1 


D anyrsinL Ck =DeT, ls 
k=1 


可 以 发 现 ， 最 优 检测 器 需要 将 两 个 图 3. 2. 10 所 示 的 检测 器 的 输出 进行 联合 处 理 ， 每 
个 检测 器 “匹配 ”一 个 信号 幅度 序列 。 例 如 ， 如 果 信 号 的 能 量 相 等 (a 二 af) 并 且 假 设 均匀 代 
价 和 相同 的 先 验 概率 (rt 二 1)， 由 于 I 是 单调 递增 的 ， 相 应 的 贝 叶 斯 检验 变 为 


I» Ti > fo 
ôs (y) =40 R 1; n= (3. 2. 81) 
0, rr fo 


如 果 假 设 幅 度 序 列 正 交 ， 例 如 
Sa 0， j x l 
以 及 
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Danansin[ Ch — DoT, +6] = 0 
对 于 所 有 0 成 立 ， 则 误差 概率 可 以 直接 写 为 ( 见 习题 11) 


P. = >e” (3. 2. 82) 


v- € 


HH, b =naj/20°(=na}/20"). 

上 述 检测 问题 的 其 他 方面 ， 包 括 幅 度 和 相位 未 知 时 的 检测 将 在 习题 中 进一步 研究 。 

模型 3. 2.4 统计 信号 检测 

在 某 些 应 用 中 ， 信 和 号 通常 完全 随机 或 需要 进行 统计 建 模 。 这 类 模型 是 非常 有 用 的 ， 例 
如 在 射电 天 文 、 声 呐 或 者 其 他 应 用 中 ， 信 号 在 传输 过 程 中 会 受到 传播 介质 扰动 或 多 径 等 干 
扰 。 对 于 这 一 情况 ， 通 常 使 用 式 (3. 2. 1) 中 的 模型 和 式 (3. 2. 4) 中 的 似 然 比 函数 。 

此 类 问题 的 一 个 特例 是 信号 和 噪声 均 为 高 斯 随机 变量 。 为 了 研究 这 一 情况 ， 先 给 出 在 
R” 上 的 假设 检验 问题 如 下 

Ho:Y ~ N (po 5) 
Hi:Y ~ N (m5) (3. 2. 83) 

对 数 似 然 比 可 以 写 为 


logh(y) = slog | E> |/ 12 |]+46y— mo) "Zs! Cy — po) 
—F0— pS ym) 
= Fy LE — Edy + aT E — pl ly+c (3. 2. 84) 


p C=F dog Ey |/| 2 |) tml Es maT m). ERAGE, LO) et y 的 二 次 项 、 
2 


y 的 一 次 项 及 常数 项 构成 。 如 果 这 两 个 方差 相同 ， 即 = SE, 那么 二 次 项 就 会 消失 ，; 
又 因为 C 可 以 合并 到 阅 值 中 ， 从 而 在 本 质 上 可 得 到 一 个 线性 统计 检测 (pu 一 jo)TE y. A 
上 是 在 高 斯 噪声 下 的 相干 检测 情况 ， 与 模型 3. 2. 2 相同 。 对 于 另 一 种 情况 ， 均 值 向 量 在 两 
种 假设 检验 下 是 相同 的 (jw 二 pw)， 为 了 不 失 一 般 性 ， 可 以 把 它们 设 成 0， 此 时 logL(y) 变 
成 二 次 型 。 
后 一 种 情况 适用 于 检测 高 斯 噪声 背景 下 的 0 均值 随机 信号 。 特 别 地 ， 考 虑 到 假设 对 
Ho:y=N 
Hi:y= N+S 
Hp, N~NO, #D, S~NO, 区.) 。 噪 声 为 非 独立 同 分 布 的 高 斯 分 布 时 ， 预 白化 处 理 
后 的 假设 检验 问题 仍 能 用 式 (3. 2. 85) 描 述 ， 这 是 因为 高 斯 信号 S 的 线性 变换 仍 服从 高 斯 分 
布 。 此 外 ， 每 个 假设 都 存在 信号 时 ， 各 个 假设 条 件 下 的 信号 可 在 增加 仅 有 噪声 的 假设 后 由 
式 (3. 2. 85) 得 到 。 
如 果 假 设 信号 和 噪声 总 是 独立 的 ， 那 么 式 (3.2.85) 中 的 假设 对 是 式 (3. 2. 83) FE Dy = 
CIAL 二 o: 了 十 允 , 下 的 一 个 特例 。 因 此 ， 由 式 (3. 2. 84) 可 以 得 到 式 (3. 2. 85) 的 最 优 检测 
器 具有 如 下 形式 


(3. 2. 85) 
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l; y' Qy >r _ 
S) =r, yrQy=r (3. 2. 86) 
0， yIQy <r 


其 中 ，r' 人 2(logr 一 C) QAo*I— I+ 3.) ! 寺 go XIHA) 1. ARC. 2. 86) 中 可 以 
看 到 ， 最 优 检测 器 通过 将 二 次 型 y Oy 的 值 与 阐 值 进行 比较 来 实现 判决 。 该 结构 也 称 为 二 
次 型 检测 器 。 

例如 ， 如 果 信 和 号 样本 是 服从 NM(0，e) 的 独立 同 分 布 随机 变量 ， 则 有 SoA 


2 n 
T Os 2 
= ~ > 2, 87 
Vo= sore aa 68.8.80 


因此 ， 在 这 一 特殊 情况 下 ， 最 优 检测 器 其 实 是 将 2 yt KARET ee. FLD vi 
是 观测 波形 的 平均 能 量 ,因此 该 检测 器 结构 有 时 也 称 为 能 量 检测 器 (也 称 辐射 计 ) .这 种 检测 
方式 是 非常 合理 的 ,因为 在 两 种 假设 下 ,随机 观测 数据 仅 在 平均 能 量 上 存在 差异 .该 问题 可 
以 和 白 噪声 背景 中 判决 两 个 常数 信和 号 Bo 一 Sol 和 jw = Bl 形成 对 比 ,其 中 ;1 一 Cl I)" a 
si > so ,此 时 ,最 优 检 测 器 将 > y PUET HBR. EEEE E I F PAGE LI 
测 数据 的 不 同 之 处 在 于 其 (统计 意义 上 ) 平均 幅度 存在 差别 , 因此 通过 将 平均 观测 数据 
工 > yw 和 阅 值 进行 比较 来 实现 判决 是 合理 的 .该 检测 结构 通常 也 称 为 线性 检测 器 。 

为 了 分 析 式 (3. 2 86) 中 检测 器 的 性 能 ， 需 要 分 别 计算 ;二 0，1 时 的 概率 P, Y Y>) 


(j= 二 0 对 应 虚 警 概率 ，j 二 1 对 应 检测 概率 ) 。 如 果 首 先 对 观测 数据 进行 与 相关 检测 类 似 的 变换 
处 理 ， 那么 求解 虚 警 概率 和 检测 概率 将 会 更 容易 。 特别 地 ， (it AL» ses ds All vi » -s D, 是 


信号 协 方差 矩阵 三 的 特征 值 和 对 应 的 正 交 特 征 向 量 。 则 有 五 = Saw! ,并 且 可 以 写作 


I= > vw? 
k=1 
从 而 得 到 
(PIHENT = Di? +a) owt 
k=1 


此 外 ， 还 可 以 得 到 


和 AS (3. 2. 88) 
Q my ZVV; > Fae FA, oe de 


ET a* Co’ 
进而 ， 统 计 检 测 可 以 写 为 


y'Qy = 1G) (3. 2. 89) 
其 中 Ala Co? +A]? viy o 
由 于 vs, s v, 是 对 于 oI 和 (oI 十 允 .) 的 一 组 正 交 特征 向 量 ， 与 式 (3.2. 42) 类 似 ， 
从 中 可 以 得 到 以 下 结论 : Y, e, Y, 在 两 种 假设 下 均 为 独立 的 零 均 值 高 斯 随机 变量 ， 其 
方差 为 
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de en 

2 — o +à: : 

on A var(Y,|H;) = (3. 2. 90) 
Àk : 
72? j=1 
o 


这 说 明 在 H; F, YOY 是 独立 随机 变量 的 和 ， 且 求 和 中 的 第 项 Y ERAMO, 0%) 4} 
布 的 随机 变量 的 平方 。T AY? Æ H, 下 的 概率 密度 函数 ， 可 以 表示 为 [参见 Papoulis 
(1986) ] 


l —t/ 20? 
一 一 er t>0 
pr, t|H;) -| (3. 2. 91) 
0, t<0 





RG 2.91) HArF ozz 密度 .TA DI EREHE pr En EEB pr, x pn * * pr, ,用 全 
里 叶 变换 表示 会 更 容易 , 即 
i= TTA} (3. 2. 92) 


其 中 br, (w) =F { pr, }(u) = Efe} G= /—1)  T, 的 特征 函数 。y(1/2，17/2 鸣 ) 的 特征 函 
数 可 以 表示 为 [参见 Lukacs(1960) ] 


br, u) = : 


[1 — iuw, J?’ 





uER (3. 2. 93) 
因此 
PELE = | ew TT 01 — 2iw JY? du (3. 2. 94) 
Tia k=1 


式 (3.2.94) 没 有 闭 式 表达 式 。 但 是 , FE of = =o Ao; 这 一 特殊 情况 下 ， 式 (3. 2. 94) AE 
够 转化 为 


pr(t|H,) = | E (3. 2. 95) 
0, t<0 
其 中 ,T(z) = [ey dy ARAM BRP IRS Ay 一 4 一 … = An A oÈ 时 的 情况 类 似 ,进而 可 
以 得 到 
toate Sat 
又 根据 信号 样本 服从 NCO, DAE LRR AMS ISAT AE, RIK of ot /(o? to!) Alo} = 
d/o. 


式 (3. 29EG zy ) 的 密度 ， 由 此 可 以 得 到 


T 
Ñ ty 7 _ nf 7%. T 
P, YTY > 7!) =1 Mpa) (3. 2. 96) 


其 中 
Piri) àf eyi dy/ rie) 
0 
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这 是 一 个 不 完全 伽 马 函 数 ” 。 对 于 虚 警 概率 为 a 的 尼 曼 -皮尔 逊 检测 器 而 言 ， 可 以 选择 


r 一 Ar (441 —a) 





2 
KPT (a; ，) 是 T(x; ，) 关 于 第 二 个 变量 的 反 函 数 。ROC 可 以 写作 
Poln) = 1 [itm (Fa a) | | (3. 2. 97) 


因此 ， 检 测 性 能 可 以 由 n 和 os/of 二 1/(1 十 os/o?) 两 个 参数 来 衡量 。 需 要 注意 的 是 : o/o 
是 平均 信号 能 量 与 平均 噪声 能 量 之 比 ， 且 式 (3. 2. 84) 的 检测 性 能 与 o/o? 或 nn 成 正比 。 

对 于 信和 号 的 特征 值 不 相等 情况 (例如 非 独立 同 分 布 信号 ) ， 不 能 得 到 起 (3. 2. 94) 的 闭 式 
表达 式 。 此 时 ， 可 以 用 近似 值 或 临界 值 来 分 析 检 测 性 能 ， 具 体 分 析 方 法 将 在 3.3 节 中 
介绍 。 

备注 3.2.4 独立 与 非 独立 信号 模型 间 的 关系 

ERG. 2.85)P, 4 NNO, PD, S~N p, X)H X= diagio , =, of Jif, IR 
声 样本 具有 独立 同 分 布 特性 且 服 从 N(0,， Oat, A S th AA OH o E A A EE ERMA 
N (pes ) 分 布 。 对 应 的 对 数 似 然 比 可 以 写 为 


logl (y= + Dy y#/o# — D) Cn — a)? Ho) + FY) loglo? / Co, +o] 
k=l E k=1 
(3. 2. 98) 


P dE — A BD, DERAHE. SD Cs os VORR Yi o Y Æ H; 下 的 
概率 密度 ， 则 有 


BD) = HOD [| a Gx lyre se (3. 2. 99) 
k=2 
其 中 Di yn [yi 9 Sey yE Y, =y» es Yi 一 ye 时 Ye 的 条 件 概 率 密度 。 式 (3. 2. 99) 


对 R” 上 的 任意 概率 密度 都 成 立 ， 并 且 满 足 pj Coe lyre ts yea) =D) Core o y)/ D; 
yis Tay Nei) o 在 H, 假设 下 ， 由 于 NN 是 独立 同 分 布 的 ， Y, AGF Ya, STS y Yi-1, 进而 有 


poy) 二 [poy) 成 立 .在 Hy 假设 下 ,虽然 Y, 与 ,…,Y i 不 独立 ,但 是 因为 Y 是 高 斯 随 
机 向 量 , 在 给 定 Yi = yi Ya = Yei 时 Vy 服从 条 件 高 斯 分 布 ,对 应 的 条 件 均 值 可 以 写 为 


Bl | = Pe) 
= E (Si | Yi = yist Yen = yea} 
HELIN Y, = yrs = dent 
= E {S | 六 = Ya = mal AS, (3. 2. 100) 
上 式 中 利用 了 Ni 不 依赖 于 Zi 1o Ye HEA 0 这 一 性 质 。 类 似 地 ， 条 件 方差 为 
var, (Y, |Y = mots Yeu = yer) =.van (Si | Yi = yist Yeu = yea) 





O 注意， 即使 对 于 n(n 为 偶数 ) 仍 然 可 以 对 于 式 (3. 2. 86) 进 行 分 部 积分 并 得 到 
nf2—1 1 
s 7 y (Cr / 20% )* 
Pi(YTCQY >r) =e + /20 之 一 人 一 
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tvan (Ni | Yi = yt Yi = yea) = 6, +o’ (3. 2. 101) 
其 中 6% Avar (S, |Y: =y; > Yi-1=ye-1) 
多 元 高 斯 分 布 的 一 个 特性 是 ,不 依赖 于 y!，…，y-_1 的 取 值 (该 性 质 与 其 他 相关 性 质 
将 在 随后 几 章 中 陆续 介绍 )。 考 虑 $1 一 E{S1}, 6, =var(S,) A p(y BN (S,, 6, +o?) # 
度 的 乘积 ， 则 对 数 似 然 比 可 表示 为 


logL(y) = 4 Disi — 2D) (on — 8,)°/ CG, +08) + FD) logle? /(B8, +o] 
k=1 k=1 k=1 


(3. 2. 102) 
对 比 式 (3. 2. 102) 与 式 (3. 2. 98) 可 以 发 现 ， 检 测 一 个 非 独 立 的 统计 信号 与 检测 一 个 均值 为 
S, WHEW diag{é,, =, 63, } 的 独立 统计 信号 是 相似 的 。 不 同 之 处 在 于 式 (3. 2. 102) 中 的 
人 依赖 于 yo eo yao MRG. 2. 98) 中 的 pe 则 不 是 。 

为 了 更 好 地 理解 上 述 结论 ， 在 假设 Hi 下 将 观测 模型 作 如 下 修改 

Yi = N; +S; = Ni +e +Â, (3. 2. 103) 

He, SE {S| Yi; 0s Yiu}, =S Â, ERR TP RIEWS, BH, 假设 下 利 
用 观测 数据 Yi ，…，Y_1 对 Se 的 最 优 预 测 ， 所 以 ss 可 解释 为 最 优 预测 器 的 预测 误差 或 S， 
的 不 可 预测 部 分 。 换 言 之 ， 当 前 观测 数据 中 的 有 用 信号 可 分 解 为 先前 观测 数据 的 可 预测 分 
BS, MAT MM eO. AWEH, EH. 下 ，& 在 统计 意义 上 与 页 ，…，Y 1 独立 ， 
HRAM CO, 68, ) 分 布 。 通 过 对 比 可 以 发 现 ， 当 S1，…，S 是 服从 N Cres os, ) 分 布 的 独 
立 序列 时 ，S, =u He=Si—m, HP ee MANO, 03 ) 分 布 。 

备注 3.2.5 独立 同 分 布 高 斯 噪声 下 最 优 统计 检测 的 估计 -相关 解释 

对 式 (3. 2. 102) 的 结构 作 进 一 步 分 析 ， 可 以 得 到 L(y) 如 下 


logL(y) = sal Dust = D Gon — $DA +8, /o*) J FD loga + & /o*) 
k=l i=] I 
(3. 2. 104) 
假设 噪声 方差 o 远大 于 最 大 预测 误差 的 方差 ， 即 对 所 有 有 A, K? 成 立 。 在 这 一 条 件 下 ， 
(1+6%, /o° 1 成 立 ， 似 然 函数 可 改写 为 
logL(y) ~ =| Xv | (3. 2. 105) 


将 上 式 与 式 (3. 2.9) 对 比 ， 可 以 发 现 式 (3.2.105) 是 检测 相干 信号 $,，…，5, 的 结构 ， 即 
该 情况 下 的 统计 信号 检测 器 至 少 可 近似 为 估计 信号 后 的 确 知 信号 检测 器 。 

在 更 一 般 的 情况 下 ， 假设 需 要 在 服从 N(0，o* 了 分 布 的 噪声 背景 中 检测 不 限于 高 斯 分 
布 的 、 概 率 密度 函数 为 ps 的 多 变量 统计 信号 ， 则 式 (3. 2. 85) 的 似 然 比 为 


L(y) = | ,exp| 产 (sy 一 去 1sl) ps (s) ds (3. 2. 106) 
R 





O AS, 和 Ni 十 ex 的 类 似 表达 方式 也 可 以 结合 Yi 给 出 。 例 如 ，S 是 Ye 中 能 由 先前 观察 数据 确定 的 分 量 ， 
此 外 ，Yi 一 人 ,二 Ni 十 et 也 是 Yi 的 一 部 分 ， 但 不 能 由 先前 观察 数据 表示 。 也 就 是 说 ，Y 一 人 包含 了 Yi 中 的 
新 信息 。 序 列 Yi 一 S$ ，…，Y 一 通常 被 称 为 新 息 序列 。 这 种 表述 方式 在 滤波 中 有 着 非常 重要 的 作用 ， 我 
们 将 在 后 续 章 节 中 详细 分 析 。 


第 3 章 离散 时 间 信 号 检测 


在 概率 函数 ps 的 正则 性 约束 下 ， 利 用 均值 理论 [LApostol(1974)j 可 以 得 到 : 





L(y) = exp (sty ; Isl} (3. 2. 107) 


其 中 8 位 于 R" 空间 (8 依赖 于 y)。 由 上 式 可 以 看 出 ， 一 般 来 说 稳 态 信号 在 独立 同 分 布 高 斯 
噪声 下 的 似 然 比 可 以 表示 为 信号 的 估计 器 级 联 估 计 信 号 的 最 优 检测 器 (也 称 为 估计 -相关 
结构 )。 不 过 ， 由 于 确定 $Cy) 函数 非常 困难 ， 因 此 该 结构 实际 上 较为 复杂 。 此 外 ， 与 
RG. 2. 105) 不 同 ， 式 (3. 2. 107) 中 的 8$ 通 常 依赖 于 所 有 观测 数据 y 而 无 法 实时 计算 。 因 此 ， 
估计 -相关 结构 的 意义 更 多 是 用 来 指导 设计 独立 同 分 布 高 斯 噪声 中 的 统计 信号 次 优 检测 器 。 
例如 ， 可 以 首先 构建 信号 的 估计 器 ， 然 后 将 该 估计 作为 一 个 已 知 信号 。 在 连续 时 间 模 拟 信 
号 检测 中 ， 估 计 - 相 关 结构 会 以 更 为 直接 的 特征 估计 器 的 形式 出 现 ， 具 体内 容 将 在 第 6 章 
作 进 一 步 说 明 。 
备注 3.2.6 统计 信号 的 局 部 最 优 检测 
RG. 2. 86) 所 描述 的 二 次 型 检测 器 在 某 些 情况 下 不 具有 一 臻 最 大 势 特性 。 例 如 ， 考 虑 
下 面 的 检测 模型 
Ha: Yy = Nes k= 1,252" 
Hi :Y,; = N; FO” Sye k= ly @>0 
其 中 ，N 和 8 与 式 (3. 2. 85) 相 同 且 具有 单位 噪声 方差 。 在 这 种 情况 下 ，01?S 的 方差 变 为 
95.。 给 定 9 后 ， 尼 曼 - 皮 尔 偿 的 二 次 型 检测 统计 可 以 表示 为 
Oy'E.I+OE.) y (3. 2. 109) 
尽管 式 (3. 2. 109) 前 面 的 系数 0 AT SEA REM BL. (EO IR Ut 0d.) p 0 与 观测 数 
据 y HRA. MARG. 2. 108) 所 描述 的 统计 量 不 是 UMP( 一 致 最 大 势 ) 统 计量 。 不 过 ， 可 
以 将 式 (3. 2.109) 中 的 0 设 为 0， 得 到 LMP( 局 部 最 大 势 ) 统 计量 为 
2y Ey (3. 2. 110) 
4 5, 的 第 一 /个 元 素 pi, 仅 依赖 于 一 7 的 大 小 时 ， 式 (3. 2. 110) 给 出 的 统计 量 有 一 种 非常 
有 趣 的 解释 。 此 时 ， 为 方便 起 见 ， 忽 略 第 二 个 下 标 后 ， 有 o= pno Ap RE. WREE 
述 特征 的 信号 称 为 广义 平稳 信号 ， 具体 概念 将 在 第 5 章 进行 详细 说 明 。 考 虑 比例 变换 后 的 
LMP 统计 量 为 


(3. 2. 108) 


TQ) = Lyry (3. 2.111) 


由 于 比例 变换 仅仅 对 阅 值 作 了 改动 ， 因 此 ， 上 式 与 式 (3. 2. 110) 等 价 。 通 过 简单 的 数学 运 
算 ( 见 习题 18) 后 ，T(y) 可 以 写 为 


n n—1 
TO) = =D) D ywen = p fo + 2D) Â (3. 2. 112) 
t=1 k=1 


k=1 


其 中 6 定义 为 





O ”该 描述 对 任意 噪声 密度 p、 都 是 有 效 的 ， 其 中 ，p、 对 于 每 一 个 yE R" 足够 光滑 (存在 微分 )，SE R" 
POS _ by ® 
x py) ps(s)ds = PO) 








Ly = | 
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n—k 
5 1 
bi A — D yy k = 0 nm—1 (3. 2. 113) 
n— ki 


结合 式 (3. 2. 112) 的 形式 ， 考 虑 到 ndk 时 ,Ps EIA EYY) (1 二 1，…，n 一 有) 的 估 
计 ， 则 式 (3. 2. 111) 中 LMP 统计 量 T(?7) 可 解释 为 估计 观测 数据 的 协 方差 矩阵 后 与 信号 协 
方差 序列 相关 。 在 H 假设 下 ， 有 


1, k=O 
E{Y,Yu} = | (3.2.114) 
0, kÆ0 
HM, Æ H, F, A 
1+ 40> k=0 
E(Y) Yin} = (3. 2.115) 
for » k#0 


因此 ， 假 设 估 计 值 2 足够 精确 ， 有 下 面 的 表达 式 成 立 


. Po» H, 
TGQ) = ard (3. 2. 116) 
ua A H, 
k=1 


从 上 式 可 以 看 出 ， 统 计量 T(y) 是 直观 合理 的 ， 特别 是 当 信号 高 度 相关 时 ( 即 d 的 值 非常 大 ) 。 


在 频 域 中 ， 统 计量 T(y) 同 样 也 有 另 一 种 解释 。 特 别 地 ， 假 设 S,, «+, S, 是 无 限 长 序 
列 {Si}) 社 -ww 的 一 个 子 集 ， 其 中 假设 序列 {Si}) 六 -对 于 每 一 个 整数 LFI k 都 有 E {SSmi} = 
px RE Wlot- 9 DFT 可 以 定义 为 


co 


$lw) A >) oet (3. 2.117) 


k=—co 


ERESZ 的 功率 谱 , 代 入 a 一 未 | Bade de TO) 可 以 写 为 


TH = +" Boo) Bul) der (3. 2. 118) 
其 中 
Bw) 和 全 二 | Pye —e<w<n (3. 2. 119) 
k=1 


函数 $ 也 称 为 数据 的 周期 图 ， 它 是 对 观测 数据 谱 的 一 种 估计 。 因 此 ， 在 式 (3.2.118) 中 ， 
T(y) 首 先 估 计 观 测 数据 的 谱 ， 然 后 在 频 域 将 估计 值 与 信号 谱 进 行 相关 。 在 H Fe WWA 
据 的 谱 在 wE[ 一 x*，xj 内 恒 为 1; 在 Hi 下， 观测 数据 的 谱 在 wE[ 一 x，xj 内 为 1 十 p(w)。 
因此 ， 式 (3. 2. 118) 与 式 (3. 2. 112) 有 类 似 的 解释 。 


3.3 信号 检测 算法 的 性 能 评估 

3. 2 节 对 时 间 离 散 信号 的 最 优 检 测算 法 进行 了 设计 和 分 析 。 在 某 种 意义 上 ， 设 计 这 些 
算法 比分 析 它 们 的 性 能 来 得 更 直接 ， 因 为 性 能 分 析 通常 较为 埋 手 。 之 所 以 能 够 计算 3. 2 市 
中 大 多 数 示例 的 性 能 ， 仅 仅 是 因为 所 采用 的 模型 易于 处 理 ， 因 此 将 其 作为 说 明 这 些 检 测 理 
论 的 最 佳 模型 。 在 一 些 情况 下 ， 仅 对 上 述 示例 中 的 假设 做 一 些微 小 的 改变 ， 也 会 大 大 增加 
性 能 分 析 的 难度 。 例 如 ， 在 独立 同 分 布 的 高 斯 噪声 环境 下 检测 高 斯 信号 时 ， 如 果 信 和 号 也 是 
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独立 同 分 布 的 ， 则 计算 误差 概率 是 非常 容易 的 ; 但 如 果 只 要 有 一 个 信号 样本 的 方差 发 生变 
化 ， 计 算 误 差 概率 就 变 得 十 分 困难 。 
给 定 判 决 准则 5， 则 二 元 假设 检验 问题 的 基本 性 能 由 两 个 条 件 误差 概率 Pr 和 Pu 决 
定 ， 分 别 定义 为 
Pe(8) = Po(5 选 择 Hi) 
Pus) = Pi (33 Hy) 
A a HE AAO A SS YE R 
I, Tey) >r 
ry) =y, TO) =r ¢3..3. 1) 
0, Tiw<r 
HH, TÆ—SAT, DAR, B) 的 映射 (比如 对 数 似 然 比 )。 因 此 ， 分 析 系 统 性 能 需要 
分 别 计算 在 两 种 假设 下 区 间 {T(Y)>r} R(T OY) < A(T CY) = 7} OER, BRIS 
率 在 概念 上 很 简单 ， 但 在 实际 中 往往 难以 得 到 解析 式 。 比 如 ， 假 设 Y 了 = {Y,，…，Y,) 在 
,下 的 联合 概率 分 布 函 数 为 pos W 


五 光合 >) = fef 2 Cyro syn dy. dy, + rff pots sty yndy dy, 
在 nn 值 比较 大 时 ， 如 果 不 对 上 式 进行 进一步 简化 ， 计 算 就 变 得 非常 困难 。 在 本 节 中 ， 讨 论 
几 种 精确 计算 检测 性 能 、 估 计 检 测 性 能 下 界 以 及 近似 计算 检测 性 能 的 常用 方法 。 
3.3.1 直接 计算 检测 性 能 
结合 3. 3. 1 节 中 的 系统 模型 ， 有 
Py(871)= PITO) > r|Ho) + 7P (TO) = rH) 
= [1 — Fro) ] + yL Fro (ro) 一 lim Fr. (o) J 


Pur) = PITY) < t|H D) +A PTY) = r|H,) 
= P(T(Y) <r|H,) —yP(TY) = r| H) 
= Fri Gd 1 Fra) = lim Prato) | 
ep, Fy, eR H, F TOM Bitar KR. 因此 ， 对 于 3. 3.1 节 所 描述 的 检测 器 形式 


(如 似 然 比 检测 器 )， 如 果 能 够 较 容易 地 确定 在 阅 值 + 邻 域内 Wn 则 分 析 
检测 性 能 会 相对 简单 。 


MY = (Yiye, Yn) T 是 独立 ( 实 ) 随机 变量 , 且 T(y) = >) ee Ce) 时 ,Fr 具有 简单 表达 


ERP, (g) 是 非 线性 序列 (例如 对 数 似 然 比 ) ,此 时 ,利用 特征 函数 来 计算 Fry 就 较 
为 容易 .随机 变量 X 的 特征 函数 定义 为 

$xlu) = Ele*}, weR 
其 中 ，i 表示 虚数 单位 V 一 I。 注 意 ， 累 计 分 布 函 数 下 和 它 的 特征 函数 $ 一 一 对 应 ?。 用 





O ”有关 特征 方程 的 问题 在 Lukacs(1960) 中 进行 了 详细 的 讨论 。 
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条 ;和 $s PIRRE H; REF TOA gi (Yi) 的 特征 函数 ,根据 Y 的 独立 性 可 得 


$r ju) = Eleapliu Saw} | H;} 
k=1 


= Tl Slexpting (739) |) = Tht 
对 特征 函数 #7, 进行 逆 变 换 可 得 到 累积 分 布 Ft,[ 具 体 可 参见 Billingsley(1979) ] 
Fy, CD — Pr fa) = then xf . Baiki be Gide (3. 3. 2) 
U-+co 27J—u lu 
上 式 对 所 有 的 a 和 2 都 是 成 立 的 ， 其 中 4 和 6 PF WIESE. HEE Fr,; (65) 一 Fr,;(a) 在 所 
有 连续 点 上 的 值 足 以 唯一 确定 Fr ， 因 为 Fr (一) 二 0， 而且 Fz, 必须 是 右 连续 的 。 如 果 
TVE H; 假设 下 是 连续 的 随机 变量 ， 则 式 (3. 3. 2) 的 反 变 换 十 分 简单 ， 因 为 Fr,; 的 概率 
密度 函数 pr,; 可 以 表示 为 
Pnt = +l. br; (ue™ de 
显然 ，p7,; 和 $71, 是 伟 里 叶 变 换 对 ?。 此 时 ， 最 终 能 得 到 
Plr = | e [TI a. o Jud (3.3.3) 
同 理 ， 可 以 得 到 Pv (567) 的 计算 表达 式 。 
柯 西 噪声 下 的 相关 检测 
作为 上 述 方法 的 例子 ， 考 虑 在 加 性 柯 西 噪声 下 利用 相关 检测 器 (定义 为 gi Cy) 二 styi， 
& 一 1，…，7) 来 检测 相干 信号 的 性 能 。 特 别 地 ， 考 虑 假设 检验 对 如 下 
Ao :Y, = Ni, k=1,.…,n 
Hi:Y; = Nets, k=1,,n 
H, Nis ees N, 是 独立 同 分 布 的 随机 变量 序列 ， 且 服从 柯 西 分 布 ， 概 率 密度 为 
1 
Puw = mite): LER 
Soot, n 是 已 知 的 信号 序列 。 在 这 种 情况 下 ， 有 
Pe, 0 CU) = Efe} = by, Cusa) = F{ py, } |, = el~a] ， uER 
因此 


$r, o (u) = TA i = eli | | «| 
其 中 ,|5| A (1/n) 》) || HF bro (uw) 绝对 可 积 ,有 


B= | eerll lel dude = hal ay 
PFCGr) 去 | [ie e dude n|s||ulJ- TE 
1 





= 5 ~ Larctan/( f; 7) f 


n |s 





oo 


日 在 Hj 假设 下 ,T(Y) 的 充分 ( 非 必 要 ) 条 件 是 | tri | du < co[ 参 见 Breiman(1968) ]. 
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类 似 地 ,有 bra Cw) = bro GD ew ,其 中 六 和 A (1/m) >) EAT ECA 
ar 一 Vs 


[值得 注意 的 是 ， 通 过 选择 r* 一 215|tan(1/2 一 c) 可 以 确保 虚 警 概率 为 c。 相 应 的 
ROC 为 





Puts.) = graat 


Psy(871) = 1 — Pa($7) = 去 一 二 aretan| tan( 3 —a)— v7] (3. 3. 4) 
2 元 2 


式 (3. 3.4) 中 隐 含 了 一 个 结论 : 仅 通过 提高 信号 平均 功率 就 能 够 改善 检测 性 能 ， 而 增加 信 
号 样本 不 能 改善 检测 性 能 。 诚 然 ， 通 过 增加 样本 确实 能 提高 最 优 检测 器 的 性 能 ， 但 在 柯 西 
噪声 背景 下 检测 相干 信号 时 ， 相 关 检 测 器 与 最 优 检测 器 存在 明显 差异 。 从 本 质 上 讲 ， 柯 西 
分 布 的 长 拖 尾 抵消 了 相关 检测 器 在 减少 噪声 方面 的 作用 。] < 

在 例 3. 3. 1 中 ， 利 用 特征 函数 方法 同样 能 得 到 Pr 和 Pw 的 闭 式 解 。 然 而 ， 特 征 函 数 
法 不 是 总 能 得 到 易于 处 理 的 误差 概率 闭 式 解 ， 通常 需要 以 式 (3. 3.3) 和 Pu 的 相应 表达 式 
为 基础 来 近似 计算 误差 概率 。 就 一 般 的 误差 概率 值 而 言 ， 采 用 快速 傅 里 叶 变换 算法 (FFT) 
等 方法 对 相应 的 Pu 和 式 (3. 3. 3) 进 行 数值 积分 后 ， 可 得 到 高 精度 的 近似 结果 。 对 于 误差 
概率 均 很 小 的 情况 (二 10“)， 需 要 利用 其 他 更 有 效 的 数值 计算 方法 。 当 某 个 参数 ( 阅 值 、 
信 噪 比 、 样 本 个 数 等 ) 非 常 大 时 ， 可 利用 与 该 参数 有 关 的 误差 概率 渐 近 表达 式 来 近似 计算 
误差 概率 。 在 通信 系统 分 析 中 广泛 应 用 的 鞍点 近似 就 是 利用 渐 近 表达 式 计 算 误 差 概率 的 典 
型 示例 [ 详 见 DeBruijn(1961)]。 具 体 应 用 示例 可 参见 Lugannani 和 Rice(1980) 的 文章 ， 他 
们 给 出 了 gi (Yi) 同 分 布下 的 近似 方法 ;Mazo 和 Salz(1965) 在 文章 中 利用 鞍点 近似 分 析 了 
二 次 型 检测 器 ( 见 3. 2 节 ) 在 非 独 立 同 分 布 高 斯 信号 和 噪声 下 的 性 能 。 
3.3.2 切 诺 夫 界 

精确 计算 3. 3. 1 节 中 检测 器 的 误差 概率 Pr 和 Pu 通常 是 不 现实 (或 者 是 不 可 能 ) 的 。 
不 过 ， 就 某 些 应 用 而 言 ， 若 能 获得 误差 概率 的 准确 上 界 就 已 经 足够 。 在 本 书 中 使 用 切 诺 夫 
界 ， 它 是 似 然 比 检测 器 性 能 的 边界 ， 可 由 马尔 可 夫 不 等 式 推导 出 来 。 

马尔 可 夫 不 等 式 ”假设 和 是 随机 变量 ， 如 果 PCXSO=$1, Mt MAM a>0, A 
P(X>a)<E(X}/a 成 立 。 

证 明 P(XDSa) E(u) (X)}, HP I 是 集合 La，co) 上 的 指示 函数 ， 定 义 为 


l; XLSa 
Itas (X) = 
0; Lg 
对 于 X20, A Iu, (X) 声 XX/a， 代 入 后 可 完成 马尔 可 夫 不 等 式 的 证 明 。 口 


考虑 随机 量 Y<1， 并 将 马尔 可 夫 不 等 式 应 用 到 3. 3. 1 节 中 ， 可 得 到 误差 概率 的 计算 式 
为 
Prr < PAT) > T= Pote > &) = eo Ele*™ Ha) 
= exp{— sr tyro (s)} (3.355) 
Fp, s>0 A pro ke TY) 在 Ho (RI FN RARE RH, EH 
pro (s) = logE{e™™ | Ho} 
类 似 地 ， 在 y 之 0 时， 有 
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Pult) < PTY) <r) = Pile™ Sek) Cexp{—tri+pri(t)} (3.3.6) 
KEP, <0 Ml pri kt TOOK H, 假设 下 的 累积 量 母 函数 。 
假设 T(Y) 的 累积 量 母 函数 已 知 ， 在 sO 和 <0 时 对 式 (3. 3. 5) 和 式 (3. 3. 6) 最 小 化 可 
得 到 紧 边 界 。 该 边界 对 似 然 比 检测 器 来 说 非常 有 用 。 为 了 说 明 这 一 问题 ,假设 在 j 二 0 和 1 
时 P, 的 概率 密度 为 p;， 并 且 选 择 T(y)= 二 logL(y)， 其 中 LL 二 pi/p。。 此 时 ， 有 


pers) = log(| eM peda) = log(| Lipodp) 
rr r 


pra tb = log(| L'p:du) = log(| L“ podp) = pro (t+ 1) 


成 立 。 代 入 式 (3. 3. 6) 并 进行 变量 替换 后 ， 有 
Pu (dr) <exp{(1—s)rtpro(s)}, s<l (3. 3.7) 
需要 注意 的 是 ， 如 果 
arg{min[yr,o (s) =s] = 6 
和 
arg{min[ pr,o (s) 一 站 有 <1 
成 立 ， 则 式 (3. 3. 5) 和 式 (3. 3.7) 可 以 在 s* 值 相同 时 达到 最 小 。 可 以 证 明 ,， 在 arol) <o K 
EE Cero (s) sr) Æ s 的 凸 函 数 [参见 Billingsley(1979)]。 因 此 ， 为 使 [uro(s) 一 sz 达到 最 
小 ， 以 下 条 件 量 充分 的 
A Nols) = € (3. 3. 8) 
其 中 心 ro(C3) 王 dwro(Cs)/ds。 同 样 可 以 证 明 ， 对 于 7 一 0 和 和 1， 如果 E{ | logl(y) | | H;}<0co 
成 立 ， 则 
urtol) 一 下 {logLCy) | H;} (3. 3. 9) 
又 因为 (pro(s) 一 sz) 是 凸 函 数 ， 即 六 ro(Cs) 是 s 的 增 函 数 ， 则 式 (3. 3.9) 在 sE(0，1) 内 有 解 
的 条 件 是 当 ( 且 仅 当 ) 下 式 成 立 


po A E{loglL(Y) | Ho} < r< E{logL(Y)| Hi} A m (3. 3. 10) 
因此 ， 假 设 式 (3. 3. 10) 成 立 ， 式 (3. 3. 5) 和 式 (3. 3.7) 可 改写 成 
PE(CSr) 委 exp{pro(so) 一 Sop To(Cso)} (3.3.11) 
Pu Sr) < exp {uro (so) + C1 — so) p'ro Cso) } (3. 3. 12) 
其 中 
tis Epro OS py (3. 3. 13) 


xk (3. 3. 11) 和 式 (3. 3. 12) 即 为 切 诺 夫 界 。 因为 (przro(s) 一 sz) 是 凸 的 ， 所 以 在 TK po 时 ， 
min[wro(s) 一 5 可 一 0 表明 式 (3. 3. 5) 的 上 界 无 意义 ( 即 宇 1)， 在 t>m 时 式 (3. 3.7) 的 边界 
也 无 意义 。 当 然 ， 其 他 形式 的 上 界 可 能 是 有 意义 的 。 需 要 注意 的 是 ，Jensen PERO KH 
RAP =P. 时 ， 不 等 式 w< M aS 取 等 号 ， 因 此 阔 值 * 王 0 总 能 满足 式 (3. 3. 10) 。 





© Jensen RER: 对 于 任意 变量 X 和 凸 函数 C， 有 E{CCX)} 三 CCE{(X))。 当 C 是 严格 凸 函数 ， 且 
P(X 二 E{X}) 二 1 时 ， 等 号 成 立 。 
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如 果 先 验 信息 x, 和 x 已 知 ， 那 么 根据 式 (3. 3. 11) 和 式 (3. 3. 12) 能 够 得 到 平均 误差 概 
率 的 上 界 。 特 别 地 
P. = x, Pr +m Pu <[a, + me! Jexp{pro (50) — so'r olso)} (3.3.14) 
不 过 ， 考 虑 到 (见习 题 20) 


P.< mef L'pody+ me] Dads (3. 3. 15) 
Ke, 0Ss<1, NS(LO) >r}, DI, HBSS P. 更 紧 致 的 边界 。 式 (3. 3. 15) 表 明 
P. < max{froyrmer)exp{pro(s) —sr}, O<s<l (3. 3. 16) 
代入 式 (3. 3. 13) 的 条 件 后 ， 式 (3. 3. 16) 的 边界 可 表示 为 
P. < max[x, sm eTo“ ] X exp{ur,o (50) — sop r.o Cso) } (3. 3.17) 


除非 x, 等 于 0 或 1， 否则 式 (3. 3.17) 是 比 式 (3. 3. 14) 更 紧 的 边界 。 对 于 阔 值 为 + 二 log(x,/ 
m ) 的 最 小 化 误差 概率 的 对 数 似 然 比 检测 器 而 言 ， 式 (3. 3. 16) 可 化 简 为 
P. [L nimero, OSs<l (3. 3. 18) 
特别 地 ， 在 卫 王 了 R" 时 ， Y=(Y,, tig Y,) 是 一 个 独立 同 分 布 的 观测 序列 ， 且 在 H; 假设 下 
的 边缘 密度 为 f; 时 ， 有 下 式 成 立 
pros) = mlog(| fifi”) 
依据 Jensen 不 等 式 ， 对 于 0 二 s 二 1 有 下 式 成 立 
log(| fi fit )<0 

此 时 ， 依 据 式 (3. 3. 18) ， 误 差 概率 随 着 样本 数 (Cz) 的 增加 呈 指 数 下 降 。 

平方 律 检 波 的 切 诺 夫 界 

下 面 以 在 N(0， a? 了 分 布 的 噪声 中 检测 NN(0， 马 ) 分 布 的 信号 为 例 ， 说 明 切 尔 诺 夫 边 
界 在 分 析 检 测 器 性 能 方面 的 作用 。 利 用 式 (3. 2. 87) 的 方法 将 序列 YL, oe, Y, 变换 成 序列 
Faas Coty Ya 后 ， 有 


L(y) = II ae 


其 中 oi, ALG. 2.90), RA T=logl Ia. A 
pro (s) = log(E( TT (2%) o” IH. })= >) siog(2 )+ DyloecE(e Z |H}) 


(3. 3-19) 
st (3. 3. 19) 中 的 期 望 可 以 表示 为 
[二 和 
ce， s>1/o% 
既然 对 所 有 的 &， 有 os<1， 且 当 s 委 1 时 式 (3.3.19) 有 界 ， 则 最 小 误差 概率 的 边界 可 表 
示 为 


E{e% | Ho} -1 


Petree | ee ees Oe (3. 3. 20) 
e <、 No rat fe FUSAN it Ss 


通过 求解 满足 下 式 的 so 值 ， 可 以 得 到 误差 概率 边界 的 最 小 值 ， 即 
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al a 

2log(x,/mi) + /logC1 +As/o*) De spares (3: 3. 21) 
对 于 独立 同 分 布 情况 (二 … 二 4,)， 可 以 直接 求解 式 (3. 3. 21) 。 至 于 其 他 情况 ， 则 可 通过 
数值 计算 方法 求解 。 < 


与 切 诺 夫 界 类 似 ， 在 实际 应 用 中 还 有 其 他 几 种 非常 有 用 的 界 。 特 别 地 ， 在 式 (3. 3.18) 
中 令 s=1/2 后 ， 可 得 到 
P, < /nonexp pr (去 )] (3. 3. 22) 
这 种 边界 有 时 也 称 为 Bhattacharyya 2X, Bhattacharyya 系数 为 
pa exp{pro (3))= | Coop] dy 


这 一 系数 又 称 Hellinger 积分 (或 近似 度 积分 )。 根 据 系数 po， 也 可 以 得 到 P. 的 下 界 。 例 如 ， 
有 [参见 Kobayashi M Thomas(1967) | 


agape << Py = Cay) p (3. 3. 23) 





结合 J 散 度 的 定义 
J = | L- Diog) pody 


可 得 到 误差 概率 的 下 界 为 [Kobayashi fl Thomas(1967)] 

P. > x,me /” 
[J 的 值 与 p。 和 pi SAK. BOL Kullback(1959)] 相 比 P。 而 言 ， 计 算 p 和 
J 有 时 会 更 加 容易 ， 因 此 它们 常 作为 选择 信号 的 准则 或 其 他 相关 准则 的 基础 (例如 选择 po 
或 pi). 

之 所 以 采用 切 诺 夫 和 上 述 其 他 边界 ， 是 因为 计算 E{L'} 和 EE{(L 一 1)logL}) 通 常 比 计算 
误差 概率 要 容易 些 ， 且 在 边界 上 ， 函 数 工 一 致 大 于 误差 概率 对 应 的 指示 函数 。 换 句 话 说 ， 
如 果 想 求解 E{h(L)}) 的 边界 ， 其 中 是 决策 区 域 的 指示 函数 ， 则 可 以 寻找 gh 的 函数 使 
得 E{g(L)}) 更 容易 计算 S。 事 实 上 ， 和 矩 空间 的 一 类 误差 概率 边界 均 通 过 相似 准则 来 计算 ， 
在 这 个 边界 中 ， 试 图 寻找 一 个 函数 g 使 得 Elg(L)} 易 于 计算 ， 上 且 (h(L)，g(L)) 与 工 的 变 
化 曲线 可 近似 为 一 条 直线 。 这 类 边界 由 Yao 和 Tobin(1976) 提 出 ， 在 评估 包括 符号 间 干 扰 
和 多 址 接 人 等 噪声 类 型 对 数字 通信 系统 的 性 能 影响 方面 非常 有 用 。 

3.3.3 渐 近 相对 有 效 性 


在 3.3.1 节 和 3.3.2 节 中 ， 研究 了 信和 号 检测 中 直接 计算 误差 概率 和 确定 其 上 界 的 方 
法 。 不 过 ， 一 般 而 言 ， 精 确 获得 误差 概率 较为 困难 。 为 此 ， 需 要 有 一 些 比 误差 概率 更 容易 
计算 的 性 能 指标 。 例 如 ， 渐 近 相 对 有 效 性 (AER) 就 是 在 大 样本 、 弱 信号 条 件 下 衡量 离散 时 
间 检 测 系 统 的 有 效 准则 。 对 AER 的 推导 如 下 。 

假设 有 观测 数据 Zi ，Y: ，…， 服 从 两 种 统计 假设 Ho 和 H 中 的 一 种 ， 再 进一步 假设 


© Boekee 和 Ruitenbeck(1981) 对 这 类 上 下 界 进行 了 研究 。 

O 在 实际 应 用 中 ， 信 和 号 被 噪声 淹没 ， 此 时 出 现 大 样本 数 和 微弱 信号 情况 (例如 被 动 声呐 和 雷达 )， 这 就 需要 对 
信号 进行 长 时 间 的 相干 积累 。 事 实 上 ，ARE 有 很 多 种 定义 ， 但 是 最 常用 的 是 采用 E. J.G. Pitman 给 出 定义 
方法 [ 见 Noether(1955)] 。 
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6, M6, 是 H 相对 于 A, 的 两 个 不 同 判 决 ， 它 们 有 相同 的 误差 概率 ， 但 使 用 的 样本 个 数 分 
HA m An. MR u<m, DHS, he, 更 有 效 ， 因 为 在 相同 的 性 能 下 $, 需要 的 信息 比 
S 少 。 类 似 地 ， 如 果 mn, BS, 比 $ AR. AE, n/n 的 比值 能 衡量 6, 相对 于 8， 
的 有 效 性 。 这 种 计算 相对 有 效 性 的 方法 在 大 样本 条 件 下 Cn 和 ns 较 大 ) 非 常 有 用 ， 因 为 即 
使 两 个 判决 准则 在 大 样本 数 下 都 具有 优良 的 误差 概率 特性 ， 如 果 样 本 数 之 比 n/n 二 2， 同 
Hf n 很 大 且 $, Md, 有 相同 的 计算 复杂 度 ， 那 么 561 Ws, 更 可 取 。 皮 特 曼 定义 的 ARE 是 
检测 器 效率 的 渐 近 (mm ，m 一 co) 计 算 ， 即 在 实现 同等 性 能 时 一 个 检测 器 相对 于 另 一 个 检测 
器 所 需 的 相对 样本 数 。 

为 了 更 加 准确 地 定义 ARE 这 个 概念 ， 考 虑 H 相对 于 H 的 两 组 判决 序列 {87” A 
{Oy beh ， 其 中 8” 对 应 样本 数 为 ”的 判决 。 假 设 每 组 序列 的 每 个 判决 的 虚 警 概率 a€ (0，1) 
固定 。 对 于 样本 数 n, (8 } 和 :相对 于 {162”} 人 :的 有 效 性 定义 为 m/n, AP m 是 满足 
Po(6;* ) 宇 Pp EP AB, 的 最 小 样本 数 。 进 而 定义 ARE 为 趋 向 于 无 穷 时 相对 有 效 人 性 的 
极限 。 对 于 大 多 数 合 理 的 判决 序列 而 言 ， 几乎 总 有 limp, 一 1 成 立 ， BI n JEX KET, p, 不 
再 是 衡量 某 个 判决 优 于 另 一 个 判决 的 合适 标准 。 为 了 解决 这 一 难题 ， 考 虑 另 一 个 假设 序列 
{ Hy” } imi ASR ADT AME Ho, Blimp, age (a, 1). 假设 61” 和 6s” 都 是 Hy 对 HP 的 
判决 ， 则 可 计算 相对 有 效 性 ， 且 {61”})21 的 浙 近 有 效 性 定义 为 

ARE},2 = lim(ns/n) 
EE, HS 趋向 于 Wyn 较 大 时 )， 这 与 2.5 节 讨 论 的 局 部 检测 相 吻 合 ( 例 如 弱 信 和 号 检测 ) 。 

一 般 而 言 ， 除 去 其 他 因素 ，ns/n 是 关于 a AB) Hee. Ko, CRANK, 
ARE 不 依赖 于 这 些 量 。 特 别 地 ， 假 设 判 决 6;” 的 形式 为 


l; T” (i ss > rj? 
SB Q) == (n) — ohn 


Vix TI” Coro = T) 
Os TP Orsoy <= cf 
并 且 假 设 检 验 的 形式 为 
Ho:Y ~ Pa 
HY :Y ~ Po. 


其 中 >00 和 {Ps; O>O Æ Y 的 分 布 族 。 此 时 ，HIf” 收 敛 到 Ho 的 概念 可 表述 为 limpb, 一 
bh. Xt j=0, 1, n=1, 2, Fl OSA, EM 
pP (0) = ETP (¥1,°5¥,)|¥ ~ Po} 
All 
of (0) = [var(T (Yi ,°° Yn) |Y ~ Py)” 

即 go” (OM of” (O) FE Y~ P, 时 TT(Y) 的 均值 和 标准 差 。 

考虑 以 下 正则 条 件 : 

1) 存在 一 个 正 整数 mm， 使 得 GO OH 1 Bl m—1 阶 导数 在 9 一 % 处 等 于 0， 且 





O 具有 这 个 性 质 的 测试 序列 被 认为 是 连贯 的 。 
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d” on . 


2) 对 于 7 二 0，1， 存 在 >O, WE 


n—-co 


: =i d” (n) | Cn) 
lim| m age (0) = oj 8) |a č > 0 (3. 3. 24) 
3) 对 于 nn 二 1，2，…， 定 义 0, 二 0 十 Kn“， 有 下 式 成 立 


tel Elna SEH Ole J 


lim LoS” (6,)/05” (I) J= 1 
4) 定义 
WHY) = [TP iV) — gf” C0) 1/0 C0,) 

则 对 所 有 wER All 0 TE 0.0L +O AWWA A d>, AP RE 
Hh edr a Blw) 
在 上 述 正则 性 条 件 约束 下 ， 有 下 面 的 命题 成 立 。 

命题 3. 3. 1 Pitman-Noether 定理 

假设 {64”) 吕 1 和 {55”} 吕 1 满足 上 面 四 个 条 件 ， 对 于 序列 0, 一 十 Kn“， 有 

ARE， = m/m 





limP,(W® (Y) < w) = 


KP y 定义 为 
m= (G), j=0,1 

cj 与 式 (3. 3.24) 4041. 

证 明 ”关于 该 定理 的 完整 证 明 可 以 参见 Noether(1955)， 在 这 里 仅 给 出 证 明 的 基本 
思想 。 

首先 ， 条 件 4) 表 明 T Yi, +, YOE Ho 假设 下 可 近似 为 N (了 )，[o (H) 1’). 
因此 ， 当 Pr) =at, A 

TP ~ 6” (B11 —a) + gi” () 
类 似 地 ， 在 虚 警 概率 为 时， 判决 $ 对 应 的 检测 概率 可 近似 表示 为 
Poi, j= rofa] 





a (On) 
7 IP (By) x1 _ gO) — oo) 
=d al rg? nEn a 0,) | 
根据 条 件 1) A 
6; — 0 





BP D = 8 Oa) ~ (EES Oe 
再 根据 条 件 3) H of (g) ~o%” (9,) 成 立 。 代 入 0, 一 十 Kn 后 ， 有 


PE ~1—@[ 8 a-a — Ae | (3. 3. 25) 


min”? 


如 果 令 Py SOM Pp (5,) 相 等 ,然后 分 别 用 nt Am 表示 它们 各 自 的 样本 数 ， 根 据 
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式 (3. 3. 25) 可 得 


oe ee ae 
(m1)  (m)™ 
也 等 价 于 
n Gy \ er? 
= = (3. 3. 26) 
命题 得 证 。 口 
备注 


D y WERA MARFII S” a 的 极限 效力 。Pitman-Noether 定理 表明 具有 更 高 
效力 的 序 贯 判决 是 更 渐 近 有 效 的 。 
2) 大 多 数 信 号 检测 模型 都 满足 正则 条 件 1) 一 4)， 例 如 ， 对 边缘 密度 fo(y) 相 同 的 独立 
同 分 布 序 列 Yi Yo ，… 考 虑 检测 统计 量 为 
TP Cy sn) = i j=0,1 Co 35 24) 
则 有 下 式 成 立 


g? (0) = nf gfo dy 


1/2 
a (0) = [nf cw, »* fody — (yi? OD | 


下 面 , 假设 |8,fodx = 0[ 在 Ho 假设 下 ,TI?(Y,,…,Y,) 的 均值 在 任何 情况 下 都 不 相关 ,因为 
任何 常数 加 在 Ti” 上 等 于 相同 的 常数 加 在 判决 门限 rf? 上 ] 和 给 定 mw 一 1、 一 1/2 后 ， 
3]gsfodu/391o-4 > 0 是 不 合理 的 ， 因 此 有 


d 2 
a [Bore] HETA dy (3. 3. 28) 


因此 ， 假 设 条 件 3) 和 4) 成 立 ， 则 能 够 相对 容易 地 计算 出 式 (3. 3.27) ri BY a at 
的 ARE。 条 件 3) 是 密度 函数 fo 关于 0 平滑 的 条 件 ， 同 时 也 是 非 线性 函数 g; 平滑 的 条 件 。 


如 果 [3 fod < ce 成 立 ， 由 中 心 极限 定理 [ 见 Breiman(1968)]， 总 能 得 到 


PLW (Y) < w] > Bw) 
ZDERE, 十 四 内 一 臻 收敛。 不过， 就 独立 同 分 布 样本 而 言 ， 有 下 面 的 结论 成 
立 [ 称 为 Berry-Eseen 边界 ， 见 Breiman(1968) | 


af le, |° fody 


Flani (3. 3: 29) 


sup | PEW? (Y) < w] — Bw) l< 
we 


因此 ， 对 任意 正 数 a、5 和 ad， 如 果 
fle; l’ fdu <a H [eifedu =b (3. 3. 30) 


成 立 ， 则 对 于 所 有 0bOE[b ，4% 十 四 ， 均 满足 条 件 4) 。 事 实 上 ， 式 (3. 3. 30) 成 立 是 非常 合 
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理 的 。 
D 在 备注 2) 的 检测 模型 中 ， 可 以 看 到 {3”) 志 ,的 有 效 性 取决 于 dfe Fed /20| ona, 的 


值 。 这 个 值 可 重 写成 3| ,lofodp/391,-%，， 其 中 1， 一 f/f 。 假 设 4 足够 光滑 ， 则 可 以 交 
换 积分 和 微分 的 次 序 ， 进 而 有 


Safody | oma, = Je (H) fo, dp = Jeti hs du (3. 3. 31) 
其 中 
To = Sas | (3. 3. 32) 
因此 ， 在 上 述 假设 下 ， 式 (3. 3. 28) 的 效力 或 有 效 性 将 变 为 
m = [feTwta de] /edx (3. 3. 33) 


根据 式 (3. 3. 33) 和 施 瓦 效 不 等 式 S ， 对 于 任意 正常 数 c， 式 (3.3.27) 在 gj =cT RRK 
值 ， SHE AAS. 5. SRE 常数 c 的 取 值 无 关 紧要 ， 因 为 ec 的 变化 只 会 导 


2 
Sais. = 一 f(T.) fa, du > 0 
将 g; =T ARAR. 3.33), y 的 最 大 值 为 
max y; = | (Tn)? fa, dy (3. 3. 34) 


这 个 量 将 在 第 4 章 的 参数 估计 中 再 次 出 现 。 

值得 注意 的 是 ， 从 第 2 章 的 观点 来 看 ， 由 非 线性 操作 To。 得 到 判决 器 也 是 判决 O= 0) 和 
0>b 的 局 部 最 优 判 决 器 。 对 固定 的 n， 似 然 比 检测 器 具有 最 佳 性 能 。 因 此 ， 对 于 任意 有 限 
的 n， 任 何 检测 器 相对 于 似 然 比 检测 器 的 效率 都 不 会 大 于 1。 既 然 基 于 Ti 的 检测 器 是 渐 近 
最 有 效 的 ， 因 此 它 渐 近 等 效 于 似 然 比 检测 器 。 


3.4 序 贯 检测 


在 3. 2 节 中 讨论 的 都 是 固定 样本 数 的 检测 器 ， 即 给 定 样本 数 设计 最 优 检测 器 。 除 此 之 
外 ， 还 可 以 根据 检测 器 的 性 能 来 选择 样本 数 。 即 对 观测 序列 的 某 些 具体 实现 而 言 ， 可 能 只 
需 几 个 样本 就 能 做 出 正确 判决 ; 对 于 另 一 些 实现 而 言 ， 可 能 需要 更 多 的 样本 才能 做 出 正确 
的 判决 。 这 种 根据 观测 序列 来 选取 样本 数 的 检测 器 通常 称 为 序 贯 检测 器 。 

BERW TR 是 所 有 ( 单 边 ) 实 序列 的 集合 ， 且 观测 值 {Zx; & 二 1，2，…} 满 足 独 
立 同 分 布 ” 。 假 设 检验 为 





Hy :¥, ~ Pos k = 1,250" 
Hi eY; ~ Pio B= Lady 


(3. 4. 1) 





名” 施 瓦 兹 不 等 式 ， 对 于 常数 <，cER， 当 上 且 仅 当 /一 cg 时 ,| | | fe | du | 三 | Pdu| edw 等 号 成 立 。 
© MR°={yly={(mlei, HH ER, kk 之 1}。 
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Ke, Po 和 Pi 是 (R，8B) 上 的 两 种 分 布 ，B 是 定义 在 R 上 的 Borelc 代 数 。 序 贯 判决 准则 
是 ($，6) 的 序列 对 ， 其 中 $= (h; j 二 0，1，2，…) 称 为 终止 规则 ($; R0, 1), ô= 
(6; J 三 0，1，2，…}) 称 为 终端 决策 规则 ， 当 j 宇 0 时 6 是 (Ri，B’) 上 的 一 个 判决 准则 。 
序 贯 判决 准则 他，6) 的 实现 步骤 如 下 : 对 于 观测 序列 (yx; k=l, 2, +}, MERI, 8) fH 
HE nis ys ee yn) HEP N 是 终止 时 间 ， 定 义 为 N 二 min{n| 和 (ya y+ ，Yn) 二 1}。 
由 确定 何 时 停止 采样 ， 即 当 史 (2 ，y2，…，) 二 0 时 ， 需 要 增加 第 n 十 1 个 采样 ， 当 加 (yi， 
y%，…ym) 王 1 时 ， 停 止 采 样 并 做 出 判决 。 因 此 ， 样 本 数 依赖 于 观测 序列 ， 具 有 随机 性 。 终 端 
决策 规则 6 决定 停止 采样 后 该 做 出 何 种 判决 。 例 如 ， 固 定 样 本 数 n 的 决策 规则 6 可 用 (8， 加 ) 表 
示 为 
Os jn 


$; (yn oy ys) m | g 
l, j=n 


; (3. 4.2) 
Cyr rt yD j=n 


EL ct eae. E 
为 了 得 到 式 (3. 4. 1) 的 最 优 序 贯 决策 规则 ， 首 先 考虑 该 问题 的 贝 叶 斯 最 小 风险 判决 ， 
其 中 H, 和 Hy 假设 的 先 验 概率 分 别 为 和 ze 二 1 一 my ，Cy 是 判决 的 代价 。 为 了 简化 处 理 ， 
假设 代价 是 相同 的 。 当 然 ， 其 他 的 代价 分 配 形式 同样 容易 处 理 。 此 外 ， 虽 然 理论 上 可 得 到 
无 穷 多 个 独立 同 分 布 的 观测 数据 ， 但 从 实际 出 发 ， 观 测 也 是 有 代价 的 。 如 果 每 次 采样 的 代 
价 C>0， 那 么 ”个 采样 的 总 代价 为 aC 。 
根据 上 述 代价 分 配方 式 ， 给 定 序 贯 判决 准则 的 条 件 风 险 为 
Rb = Ear EE LN 


和 
R, (6,6) = 1— E; {dn (Yis Yn) } + CE, N} (3. 4.3) 
其 中 ， 下 标 与 假设 对 应 ，N 是 随机 序列 {Y,} 的 停止 时 间 。 贝 叶 斯 风险 可 表示 为 
r($,6) = (1—7m)R, @,6) + mi R ($, 8) (3. 4. 4) 


最 小 化 rep, 8) 的 判决 准则 称 为 贝 叶 斯 序 贯 判决 准则 。 
为 了 方便 在 贝 叶 斯 框架 下 理解 最 优 判 决 准 则 的 结构 ， 首 先 定义 下 述 函 数 
V (m) A minr(,6) » 0<m<l (3.4.5) 


$y =0 意味 着 在 没有 观测 值 时 判决 不 会 停止， 
式 (3.4.5) 描 述 了 至 少 一 个 样本 的 所 有 序 贯 检测 
的 最 小 贝 叶 斯 风险 。 可 以 直接 证 明 V(x) 是 关于 
m 的 连续 是 函数 ,满足 V* OSV (1) 二 C， 如 
图 3. 4. 1 所 示 [ 参 见 Ferguson(1967)]。 图 3. 4. 1 中 
同时 给 出 了 其 他 两 个 判决 准则 的 贝 叶 斯 风险 随 x 
的 变化 曲线 。 这 两 个 判决 准则 均 不 需要 样本 ， 一 
个 选择 H (PM, =H 二 1)， 另 一 个 选择 H 
(iN, ¢=1-H=D, A 


r($,8) |y,=2,<1 =1—m 图 3. 4. 1 均匀 误 判 代价 和 样本 代价 
PM ican 为 C 下 的 贝 叶 斯 序 贯 准则 
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注意 ， 这 是 唯一 没有 包含 在 式 (3. 4. 5) 最 小 化 公式 中 的 两 种 代表 贝 叶 斯 估计 的 决策 规则 s 。 
在 图 (3.4.1) 中 ， 用 ro 表示 rr($，6) bas 和 V(r) 的 交点 对 应 的 横 坐 标 ，x 表示 
rp，0) |s =1-; =1 和 V* (x) 的 交点 对 应 的 横 坐 标 。 

结合 图 3. 4. 1 可 知 : 如 果 xc， 贝 叶 斯 规则 为 各 二 1 一 6 二 1; 如 果 moa. Wow 
规则 为 如 二 6, 二 1; MR <m Kru, MIRAA % =0 下 的 最 小 化 (GP，6)。 所 以 ， 对 
于 x 二 zm 情况 ， 在 选择 H 时 不 需要 样本 ; HF mm, WE H 时 也 不 需要 样本 ; 其 
他 情况 ， 则 至 少 需 要 一 个 样本 。 : 

假设 zm 二 xu， 尽 管 最 优 判决 的 形式 未 定 ， 但 它 至 少 需 要 一 个 样本 。 得 到 一 个 样本 
后 ， 如 果 仍 然 有 无 限 多 的 独立 同 分 布 样本 ， 则 该 优化 过 程 与 没有 样本 时 是 一 致 的 ， 区 别 仅 在 
于 利用 一 个 样本 得 到 了 更 多 关于 哪个 假设 成 立 的 信息 。 特 别 地 ， 用 观测 数据 (例如 
m (yD SPH, AH | YSE H, FHER m yi) 代替 先 验 概率 x 后 ， 能 得 到 与 图 3. 4.1 
类 似 的 结果 。 不 过 ， 横 坐标 变量 moD BHA m. Wb, FERMA, EAE Y 的 
信息 不 会 影响 V" 的 形状 。 综 合 以 上 分 析 ， 在 得 到 一 个 样本 后 ， 如 果 a Cyi) 志 mm.， 则 判决 为 
Ao; WÈ m Odro, WARA Wi; WR zm 过 mn (yi) 二 xu， 则 继续 增加 样本 。 

WR x 过 an 过 xv H zt 过 mCyi) 二 xu， 则 最 优 判 决 至 少 需 要 两 个 样本 。 此 时 ， 可 采用 
相同 的 方法 根据 新 的 先 验 值 mi Ons y = PCH, 为 真 | YS y, Y= yy) 进行 重新 判决 。 


将 此 推广 到 任意 样本 数 ， 可 以 看 到 贝 叶 斯 序 贯 检测 会 连续 采样 ， 直 到 x (yi，…，y,)AP 
CH, AB | Y =y» omy Y, = yn) A E X E Cr, ru) 之 外 ， 并 根据 mı (yis Teng Yn) Km 选 
# H., mı (yis eg Yn) ru 选择 Hi. 在 n=0 时 ， Fam (mn, pega | Yn) BEAN m 后 ， 贝 叶 斯 
序 贯 检测 的 停止 准则 为 
0， TL < 1 (yi 988% 9 Vn) <= Tu 
CVs Va) = (3. 4. 6) 
$, Cy Ya) \" 其 他 
判决 准则 为 
l; 1( O it , nD 
Rory) =d Dt ee ees (3. 4.7) 
0， mi Cyr s**t Yn) <r 
图 3. 4. 2 HR T MIHIA. mi (Yi, es YOE H, 假设 下 收敛 到 1,， 在 H 假 


设 下 收敛 到 0， 判决 以 概率 1 终止 。 最 优 判决 只 需 已 知 和 ru， 以 及 计算 mOi es 
yn)。 不 幸 的 是 ， 除 了 一 些 特殊 情况 (例如 Y, 只 取 离 散 值 )， 一 般 很 难 获得 x 和 wo。 相反， 


计算 后 验 概率 my, ，…，y,) 相 对 容易 。 特 别 地 ， 假 设 P。 和 Pi 的 密度 为 p。 和 po WR 
据 贝 叶 斯 公式 ， m (yis Ni. yr) 可 以 写 为 
m [[ 2 Cy) 
Oana) ES E. a (3.4.8) 


. 7 my F WiAn Cy 998% 9 Yn) 
m [LPC tmi lad) 
. k=l k=1 


HPA, An 个 样本 的 似 然 比 ， 表 示 为 


CO 可 以 看 到 当 和 加 ==1 时 随机 化 是 无 效 的 ， 因 为 如 果 当 概率 为 时 选 66 二 1， 当 概率 为 1 一 y 时 选 6o 一 0， 则 贝 叶 
斯 风险 ya- m) HO Par 永远 大 于 min{r ，1 一 ri ) 。 
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A Cy19°" sya) = [I [piCy,)/po Cy,)] (3. 4. 9) 
k=1 


T is Ya) 





图 3.4.2 贝 叶 斯 序 贯 检测 的 实现 


从 表示 的 一 致 性 出 发 ， 定 义 io 二 1。 因 为 式 (3.4.8) 随 ,单调 递增 ， 则 式 (3. 4. 6) 和 
式 (3.4.7) 可 重 写 成 


$l ) i. An CM 9nd) A (3. 4. 10) 
n\¥i2°°* 9 Yn — ， Te 
1, 其 他 
和 
l, Àn Cyr 9° Ya) SN 
On Cy 9888 9 Vn) = (C3: 4.11) 
0， An (yi ots In) K 


其 中 ，r 和 roru/r (1 一 总)，fAroru/r (1 一 ru)。 贝 叶 斯 序 贯 检测 会 连续 采样 ， 直 至 似 然 
比 落 在 间隔 (x，z) 之 外 ， 然 后 根据 4%, 是 否 小 于 x 或 大 于 元 来 决定 是 H, R H. 

RG. 4. 10) 和 式 (3. 4. 11) 是 序 贯 概率 比 检测 (SPRT) 的 特例 。 对 满足 OASIS B<ooffy 
{ERMA AB, FAM BARE ce Aza, WA 和 B 为 边界 的 SRPT( 记 为 SPRT(A，B)) 
可 以 由 式 (3.4.10) 和 式 (3.4.11) 定 义 ， 且 在 A==B 时 ,可 任意 判决 。 显 然 ，SPRT(A，B) 会 持续 
采样 ， 直 到 似 然 比 4, 落 在 边界 A MBH, 然后 根据 4, 宇 B HARA, RHA <A 判决 
H.. WẸ A=1<B, WHRA Ho; 如 果 A 二 B==1， 则 判决 为 Hı; WR ASB=1, My 
任意 判决 。 

直流 信号 的 序 贯 检测 

考虑 在 加 性 独立 同 分 布 噪声 中 检测 直流 信号 的 问题 ， 即 

HsY, = .Ns k= 1,2,.: 

Hi:Y, = Ni+0, k= 1,250 
Hh o>, (NOC ÆRA N(0，w) 分 布 的 独立 同 分 布 噪声 样本 序列 。 样 本 数 为 n 的 似 然 
比 可 以 表示 为 


(3. 4. 12) 


AeCyi ae ys) = exp (2D) (on —0/2)| C3. 4. 13) 


2 
O k= 
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只 要 似 然 比 落 在 A AB 之 间 ，SPRT(A，B) 就 会 继续 采样 。 取 对 数 后 ，SPRT(A，B) 的 
每 一 步 均 计算 所 了 (> 一 名 ) ， 并 与 logA 和 loge 进行 比较 。 如果 29) (> 一 器 ) 大 于 


logB， 则 停止 采样 并 选择 HL. WR LS) (> 一 全) 小 于 logA ， 也 停止 采样 并 选择 H. 


SPRT(Cr， 元 ) 除 了 在 贝 叶 斯 风险 意义 上 具有 最 优 性 之 外 ， 从 信和 号 检测 的 角度 出 发 ， 还 
具有 另 一 种 最 优 特 性 。 在 Wald-Wolfowitz 定理 (类 似 于 尼 曼 -皮尔 逊 引 理 ) 中 对 这 种 最 优 特 

对 序 贯 判决 准则 ($，6)， 分别 用 Pe, DAM Pv($，5) 表 示 虚 警 概率 和 漏 检 概 率 ， 即 

Pr (9,6) 一 了 PLX y= Yn) = 1| Ay] 
All 
Pu($,6) = PLSv(Y Yn) = 0|H,] 
同时 用 Np) ean 45 O FAK AN BEL EBT E, BD 
N) = min{n|$, Yi, ,Y,) = 1} 

NERA p ERS. BAA FMM. < 

命题 3.4.1 Wald-Wolfowitz 定理 

假设 (各 ，60) 是 SPRT(A，B) 的 序 贯 判 决 准则 ， 对 于 满足 Pr ($，6) 三 Ps (各 ，6o) 和 
Pu($，6) 三 Pu (各 ，66) 的 任意 序 贯 判决 准则 ($B，6) 而 言 ， 有 下 式 成 立 

E{N(@)|H,;} > E{N@)|H;}, j= 0,1 

显然 ， 给 定 虚 警 概率 和 漏 检 概率 后 ， 在 所 有 的 序 贯 判决 准则 中 ，SPRT 准则 需要 的 期 
望 样本 数 是 最 少 的 。 又 因为 固定 样本 数 检测 是 序 贯 检测 的 特例 ， 所 以 在 同等 性 能 条 件 下 ， 
SPRT 使 用 的 平均 样本 数 小 于 或 等 于 固定 样本 数 检 测 的 样本 数 。 事 实 上 ， 当 给 定期 望 样 本 
数 时 ， 没 有 一 个 序 贯 判决 准则 有 比 SPRT 更 小 的 误差 概率 [ 见 Ferguson(1967)]。Wald- 
Wolfowitz 定理 的 有 效 性 可 根据 SPRT 的 贝 叶 斯 最 优 性 进行 证 明 ， 具 体 证 明 过 程 从 略 。 

由 Wald-Wolfowitz 定理 可 知 ， 给 定 Pr 和 Pu 后，SPRT 是 平均 样本 数 最 少 的 检测 
器 。 即 通过 增 大 样本 数 后 ，SPRT(A，B) 可 实现 任意 的 Pr 和 Pm. 4 SPRT(A, DAK 
的 另 一 个 问题 是 如 何 选择 A 和 B 来 达到 所 期 望 的 性 能 。 下 面 的 分 析 能 部 分 回答 这 个 
问题 。 

假设 (0, ô Æ SPRT(A，B) 的 判决 准则 且 有 AKI<B, 令 a= Pr ($, 8), y= 
(1 一 忆 二 Pw($，6) 和 N= 二 N($)。 注 意 ，($，6) 的 拒绝 区 域 可 写成 

D = {y E R” IA yn) > B} = UiQ, 

HP Q,=(yER?|N=n HA> yoo o I)B}. ZE mEn, Q, MQ, 互 斥 后 ， 有 


a = Panis Y) SBIH) = 3) I Lp Ducay) 
n=1 n k=1 
MQ. A [[b 0) <B [| 2) ， 所 以 
k=1 k=1 


a < B` >] TI Ca: Go uldy)] = BY Pas (Yi 55 ¥y) > B| Hi) = B° Ay) 
k= Qn k=1 
类 似 地 
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y = POs Yis YN S A| Hi) < AP Qn (Yio Yn) <A] Ho) = AC — a) 
综 上 可 得 
B<Q-y/a 和 A>yy/A-—a) (3. 4. 14) 
假设 似 然 比 过 边界 后 的 量 [Aw (Yi ，…，Yw) 一 B 和 A 一 Aw (Yi1，…，Yw)] 可 忽略 ,根据 给 
定 的 a 和 y， 由 不 等 式 (3. 4. 14) 可 近似 确定 边界 A 和 B。 如 果 N 远大 于 平均 样本 值 ， 那 么 这 


种 近似 是 非常 精确 的 。 因此 ， 在 假设 àn (Yi, bee | Yn) ~A All An (Yi, tey Yn)~œB 后 ， 不 等 
式 (3.4. 14) 可 近似 写成 等 式 ， 即 
BYe(1-y/a 和 AR、X/CL 一 oa) (3. 4. 15) 


这 些 近似 也 称 为 Wald 近似 。 
假设 aa 和 ys 是 设计 的 误差 概率 ， 则 可 根据 式 (3. 4. 15) 来 选择 实际 边界 ， 即 
As=y/(ll—a) 和 B, = 1—Y74)/aa (3. 4. 16) 
对 应 的 实际 误差 概率 a M y 满足 不 等 式 (3. 4. 14) ， 因 此 有 下 式 成 立 
aa/ Q — 7V) < B? = a/(l— ya) 


All 
Ya/ A — a) S A, = Ya/C — aa) 
进而 可 得 到 
a X aal — ¥,)/A — Ya) X aa/ (1 — Ya) 
All 


Ve Se Fal — of) — ea) <e A — a) (3. 4.17) 
例如 ， 如 果 ys 二 aa， 有 
aa X aa + Olai) 
All 
Ya < Ya Os) 
值得 注意 的 是 : 选择 合适 的 边界 A 和 B 后 ， 式 (3. 4.17) 能 够 确保 获得 任意 好 的 误差 
概率 性 能 。 此 外 ， 不 等 式 (3.4.17) 严 格 成 立 且 不 依赖 过 边界 量 可 忽略 的 近似 [当然 ， 在 
AG. 3.15) 中 需要 利用 该 近似 ]。 上 述 分 析 的 特别 之 处 在 于 分 析 过 程 与 Y; 的 真实 分 布 无 
关 ， 这 正 是 SPRT 相对 于 固定 样本 检测 的 优势 。 
虽然 SPRT 可 以 任意 减 小 误差 概率 ， 但 这 需要 以 增加 训练 样本 为 代价 。 假 设 a 和 7 E 
够 小 ， 满 足 A~y RB~1/a, RAS y Ma 继续 减 小 时 ，A 将 变 小 而 B 将 变 大 。 即 区 间 
(A，B) 将 扩大 ， 给 定 观 测 后 ，SPRT(A，B) 需 要 更 多 的 样本 。 根 据 前 面 的 分 析 ， 控 制 
SPRT 的 误差 概率 可 不 用 考虑 观测 值 的 分 布 。 不 过 ， 用 来 衡量 期 望 的 训练 样本 数 与 数据 分 
布 密切 相关 ， 同 时 它 也 是 用 于 比较 各 种 序列 检测 器 性 能 的 主要 指标 。 因 此 ， 如 何 估计 序列 
检测 器 的 期 望 样本 数 就 显得 非常 重要 。 为 了 便于 给 出 具体 计算 方法 ， 首 先 考虑 更 一 般 的 序 
贯 检测 如 下 。 
对 任意 a<0<b 和 函数 g :R 一 信 ， 由 规则 ($，5) 定 义 的 序 贯 判决 准则 为 ST(a，2; g), 
其 中 (8G，6) 可 表示 为 
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i 
0, a< J go) <b 
$; yı s*es yj) — k=1 


1, 其 他 


j 
1, Set) >b 

k=1 

ô; (yı sts yi) = j 
O; Dgo) <a 

k=1 


事实 上 ， 对 O<MA<1< BOM pi/ po <, 

进行 a=logA, b=logB 和 g=log(p,/ po ARH 

后 ，SPRT(A，B) 等 价 于 ST(a, b; g)。 对 于 NS \\ 

例 3.4.1 的 情况 ， 选 择 g(x) =0(2—0/2)/o?, n -2 

则 SPRT(A，B) 等 价 于 ST (a, b; g). A, | 

图 3.4.3 为 ST(e，5 g) 的 判决 示意 图 。 Joy d 
EST la, b; DERF, ME Wald FO tt tn 

[ 见 Ferguson(1967)] 有 下 面 的 结论 成 立 。 
命题 3. 4.2 序 贯 分 析 的 基本 恒等式 
假设 ($9，6) 二 ST(a,，b; g)， 同 时 定 0 

义 N=min{n | # (Yi, +, Y,) =1} 和 SN 


De OR 


es 


S, 一 >)g(Y) ， 令 Mi AH; 假设 下 随 图 3.4.3 ST(a, bs g) 判 决 示意 
k=1 


PLR SE g (Y,) HEA BAK, Bp 
M,(1) = E{exp{tg(Y,)}|H;}, j =0,1 
如 果 P(g(¥,)=0 | H,) #1 且 P(g) |<% | H)=1, #4 M, (< 二 co 成 立 的 任意 实 
数 ， 有 
E{exp{t Sn}[M,(2)1*|H,;}= 1 
该 等 式 也 称 为 Wald 恒等式 。 它 可 由 随机 采样 定理 中 的 马丁 格 尔 策略 直接 得 到 [参见 
Breiman(1968)]， 这 里 不 给 予 证 明 。 命 题 3. 4. 2 的 结论 如 下 。 
命题 3.4.3 Wald 恒等式 的 推论 
在 命题 3. 4. 2 的 假设 下 ， 在 t 二 0 的 邻 域内 假设 Mi <o, EX pj =E(g(¥i) | Hj} 和 
0 二 var(g(Y1) | 昌 ;) 后 ， 有 
(a) E{Sy|H;} =yE{N|H,) 
和 
(b) E{(Sy — Nu; )? | H;} = of E({N|H;} 
利用 Wald 恒等式 及 其 推论 ， 可 将 Wald 近似 式 (3. 3.15) PF RB ST(a，b; QAR. 
有 具体 如 下 。 
假设 可 以 找到 两 个 非 零 数 Ma, Æj=0 和 1 时 满足 M;(t;) 二 1[ 它 们 的 存在 性 由 
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P;(g(Y:)<0)>0, P; Y >00 A a #0 RUE, 2L Ferguson(1967)]。 那 么 Wald 
恒等式 意味 着 

E{exp{t;Sy}|H;} =1, j =0,1 (3. 4. 18) 
WAR HU AR”, E Ho 假设 下 ，Sx 是 一 个 离散 随机 变量 ， 分 别 以 概率 Ps (4$， 
6)Aa 和 1 一 a; Æ A, 假设 下 ，Sw 分 别 以 概率 Y= 二 Pv ($,，6) 和 1 一 y 取 a fb. AIA 
式 (3. 4. 18)， 可 得 到 


(1—a)ee* + ae? a 1 


All 
yer? 十 (1 一 7y)ea2 al 
进而 有 
a = (1—e*)/(e0? — e't) (3. 4. 19) 
All 
yx (1 — et’) /Cen? — et’) (3. 4. 20) 


作为 示例 ， 选取 g=log(pi/po); 则 ST(a, b; g)=SPRT Ce, e’), 可 得 
M, t) = | exptrlogE p: (y)/ Bo (9) D po ady) = | ca Cy) I'L po Cy) ] aldy) 
注意 
MO) = | aOd =1 
得 到 =l., BMH, BE 
Mi CD = | CoCo oTe dy) 
a4 a= l, CHEM A= eA MBH 之 后 ， 式 (3. 4. 19) 和 式 (3. 4. 20) 可 以 写成 
a~ (1 一 A)/ 一 B) 和 yx(1 一 B-)/CA- 一 B-) 
它们 等 价 于 式 (3.4.15) 的 Wald 近似。 
如 果 jo 二 0， 则 不 存在 使 Mo o) =1 的 非 零 数 加。 但 在 这 种 情况 下 ，Wald 恒等式 的 推 
论 隐 含 了 E{Sy | 互 o} 王 0， 进 而 有 
a(l—a) +ba + 0 
或 
a ~—a/(b—a) (3. 4. 21) 


类 似 地 ， 如 果 j= 二 0， 有 
y œ— b/(a—b) (3. 4. 22) 


采用 与 示例 中 相同 的 分 析 方 法 ， 可 以 根据 命题 3. 4. 3 来 近似 ST Ca, b; g) 的 预期 样本 
数 。 首 先 ， 假设 mm 和 天 0， 然 后 忽略 超过 边界 的 量 ， 利 用 推论 ， 有 


E{N|H.} = LE(Sy | Ho} 一 二 (ad ~ a) +a) 
Ho 0 
如 果 po =0, 则 需要 利用 
E{N| Ho} = +E(S?| Ho} ~ (al — a) + Bra) 
do 0 
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类 似 的 表达 式 对 E{N | HERZ. WARG. 4 19A. 4. 20) RRG. 4.21) 和 
式 (3.4.22) 的 都 可 以 消去 (a,，5) 和 (a，7Y)。 例 如 ， 如 果 j= 二 0， 有 

E{N|H;} ~— ab/o? 
对 于 jj 关 0 HK SPRTCe*, ec fal, A) Wald 近似 后 ， 有 








E{N| Ho) ~ =-[ 1. ~a)log 7 - +alog * =z] 
po 


L= 
(3. 4. 23) 








E(N|H,} ~ — 二 | ae 证 


现在 考虑 下 面 的 例子 。 

台 序 贯 检测 与 固定 样本 集 检 测 对 比 

为 了 说 明 序 贯 检测 (SPRT) 能 比 固定 样本 集 检测 (FSS) 具 有 更 少 的 样本 数 ， 再 次 考虑 
例 3.4.1 中 的 直流 信号 检测 问题 。 

最 优 FSS 检测 器 是 似 然 比 检测 器 ， 根 据 式 (3. 2. 31)， 似 然 比 检测 器 的 误差 概率 a 和 相 
关 的 7 与 样本 数 的 关系 为 


= paw 
= at (1 Alog? zx] 


1 一 7 一 1 一 G(G (1 — a) — n? 0/o) (3. 4.: 24) 
在 给 定 a Aly Ja» FSS 的 似 然 比 检测 器 所 需 样 本 数 可 以 通过 对 式 (3. 3. 24) RUB, BP 
Ness 一 [eoa —a) -0P Fe | (3. 4. 25) 


其 中 z RAR ANE x 的 最 小 整数 。 


误差 概率 选择 边界 后 ，SPRT 的 期 望 样本 数 可 以 根据 式 (3.4.23) 得 到 。 求 解 
式 (3. 4. 23) 需 要 计算 wo M pao BE 


m= Etlogl p:(¥1)/p0(%1) 1 Hj} = SE E((Y, — 0/2) | H,} 


-oo j=0 
十 /20:， j=1 
为 了 简化 ， 假 设 a 二 Y 后 ， 有 


E(N|H,} = E{N| Hy} ~ 20 a| ros 72 


(3. 4. 26) 








a -十 (1 一 Dlog- — (3. 4. 27) 


当 e=y=0.1 M E/P =1L 时 ， 计 算式 (3. 4. sera 4. 27) 得 到 nesg 22 和 E{N | 
H,}~9. Auk. XMM F, SPRT 平均 使 用 的 样本 数 是 FSS 的 一 半 。 结 合 
式 (3. 4. 25) 和 式 (3. 4.27), A 


lim, BL = 1fd (3. 4. 28) 
对 于 足够 小 的 误差 概率 (a 二 7) 而 言 ，SPRT 平均 所 需要 的 样本 数 为 FSS 的 1/4。 < 


例 3.4.2 说明， 约束 检测 性 能 后 ，SPRT 做 出 判决 所 需 的 平均 样本 数 少 于 最 优 FSS. 
这 在 需要 进行 大 量 相同 判决 时 非常 有 效 。 例 如 在 搜索 雷达 中 ， 需 要 对 搜索 区 域内 的 每 个 检 
测 单元 进行 判决 来 确定 是 否 存在 目标 。 此 时 ,采用 SPRT 将 比 FSS 具有 更 短 的 判决 时 间 。 
既然 SPRT 能 获得 性 能 增益 ， 那 么 为 什么 不 用 SPRT 代替 FSS 呢 ? 遗憾 的 是 ，SPRT 
在 实际 应 用 中 存在 之 前 的 分 析 中 没有 涉及 的 几 个 缺点 。 其 中 一 个 缺点 就 是 SPRT 的 样本 数 
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以 概率 1 有 限 ， 而 不 是 有 界 。 在 观测 数据 清晰 可 判 时 ，SPRT 通过 快速 判决 来 降低 样本 
数 ; 不 过 ， 如 果 观 测 数 据 的 模糊 性 较 强 ， 则 SPRT 需要 大 量 的 样本 。 虽 然 Wald-Wolfowitz 
定理 表明 对 这 两 种 方式 进行 平均 是 有 利 的 ， 但是， 对 很 多 应 用 来 说 ， 即 使 是 偶尔 发 生 的 长 
时 判决 过 程 也 是 不 允许 的 。 对 于 这 一 问题 ， 可 以 通过 修改 SPRT 的 停止 准则 来 解决 ， 即 在 


样本 数 超过 最 大 值 后 进行 硬 判 决 。 这 种 类 型 的 检测 也 称 为 截断 SPRT， 且 如 果 截 断 点 不 是 


太 小 ， 也 可 具备 SPRT 的 良好 性 能 。 

SPRT 的 男 一 个 缺点 是 需要 精确 知道 po 和 p,。 例 如 ， 在 例 3.4.1 的 直流 信号 检测 问 
题 中 ， 进 行 序 贯 最 大 似 然 判决 必须 知道 信号 值 0， 这 与 具有 一 臻 最 大 势 的 固定 样本 集 尼 曼 - 
皮尔 撑 检测 器 形成 鲜明 对 比 。 例 如 ， 当 真实 的 位 置 参 数 只 是 假设 的 一 半 时 ，Hi 假设 下 的 


统计 判决 量 D3 (ye — 0/2) /o* 将 在 零 附 近 波 动 ， 进 而 增加 了 判决 时 间 。 尽 管 通过 截断 处 理 


能 够 在 一 定 程 度 上 缓解 此 类 问题 ， 但 这 确实 是 限制 序 贯 检测 获得 应 用 的 主要 原因 。 

序 贯 检测 的 第 三 个 缺点 是 样本 不 满足 独立 同 分 布 时 ， 原 始 的 SPRT 作为 最 优 贝 叶 斯 检 
测 就 会 失效 。 这 是 因为 如 果 之 前 和 之 后 的 样本 不 独立 ， 且 每 一 步 的 样本 分 布 特性 不 相同 ， 
那么 基于 贝 叶 斯 最 优 判决 的 SPRT 推导 过 程 将 不 再 成 立 。 

除去 以 上 三 个 缺点 之 外 ，SPRT 的 诸多 优点 使 其 得 到 了 广泛 应 用 。 在 Tantaratana 
(1986) 的 综述 性 论文 中 给 出 了 SPRT 的 其 他 性 质 和 具体 修正 模型 。 


3.5 非 参 数 检测 和 稳健 检测 


在 第 2 章 和 第 3.2 节 中 ， 研 究 了 观测 数据 的 统计 特性 服从 某 种 分 布下 的 假设 检验 和 信 
号 检测 问题 。 然 而 ， 它 们 的 共同 前 提 是 观测 数据 的 概率 分 布 已 知 ， 或 者 仅仅 是 部 分 参数 未 
知 。 通 常 在 实际 情况 下 ， 明 确 已 知 观 测 数据 的 分 布 特性 是 不 切实 际 的 ， 有 时 候 甚至 不 能 假 
定 它们 近似 已 知 。 在 这 种 情况 下 ， 之 前 介绍 的 检测 方法 就 不 再 有 效 。 为 此 ， 必 须 设 计 观 测 
数据 的 分 布 特性 未 知 下 的 检测 准则 。 在 这 个 背景 下 ， 非 参数 检测 和 稳健 检测 是 两 个 可 供 选 
择 的 设计 原则 。 一 般 而 言 ， 非 参数 化 方法 解决 了 只 知道 噪声 的 大 致 统计 特性 下 的 信号 检测 
问题 ， 稳 健 检测 方法 用 于 噪声 统计 特性 非 精 确 已 知 的 情况 。 首 先 ， 在 这 里 简要 描述 一 下 这 
两 种 检测 方法 。 
考虑 下 列 一 般 的 二 元 复合 假设 检验 问题 ， 其 观测 序列 服从 独立 同 分 布 
Ho:¥, ~P EP, k=1,2,.,n 
HYi: ~ PEP, k=1,2,°n 
EPP, MP, ES FMM BE NMRA CAEBABN WAT N. WRP MP 可 以 用 一 
个 实数 或 者 向 量 参数 表示 ， 那 么 就 可 看 作 是 参数 化 假设 检验 问题 。 例 如 ， 在 第 2. 5 节 中 讨 
论 的 复合 假设 检验 问题 就 是 参数 化 假设 检验 问题 。 如 果 P。 和 Pi 不 能 参数 化 表示 ， 那 么 
RG. 5.1) 就 是 非 参 数 化 假设 检验 问题 。 在 非 参 数 化 假设 检验 中 ， 普 遍 认为 P。 和 P, 的 分 布 
太 宽 而 不 能 用 有 限 维 参数 表示 。 
非 参 数 假设 检验 问题 的 一 个 例子 就 是 位 置 检验 ， 即 
Ho:Y; = Nis 二 1,2，…，7 
Ho:¥, = Ne +0, k= 1,2,°,n 


(3. 5.1) 


(3.5. 2) 
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其 中 {NN}?-1 是 一 个 仅 知 其 边缘 分 布 关 于 零 对 称 的 独立 同 分 布 序 列 。 一 般 来 说 ， 这 种 模型 
见于 噪声 环境 下 恒定 信号 的 检测 问题 中 ， 检 测序 列 除 了 同 分 布 ( 同 一 性 )、 独 立 和 对 称 性 
外 ， 其 他 统计 学 特征 完全 未 知 。 由 于 所 有 对 称 分 布 类 一 定 不 是 有 限 维 的 ， 所 以 是 典型 的 非 
参数 问题 。 

稳健 和 非 参 数 假设 检验 都 属于 非 参 数 化 假设 理论 框架 。 下 面 章 节 首 先 从 非 参 数 检验 开 
始 讨论 ， 然 后 讨论 稳健 检测 问题 。 
3.5.1 非 参 数 检测 

一 般 来 说 ， 设 计 非 参数 检测 的 目的 是 希望 应 用 于 广义 的 P, 和 Pi 上 ， 且 具有 某 些 不 变 
特性 。 通 常 这 些 检 测 是 简单 的 ， 它 仅 用 观测 数据 的 一 些 简 单 特性 (比如 符号 、 秩 等 ) 来 代替 
数据 值 。 总 之 ， 非 参数 检测 的 性 能 特征 中 虚 警 概率 几乎 总 是 保持 不 变 。 因 此 ， 对 
AG. 5. 1) 中 的 非 参 数 检验 器 的 一 个 标准 定义 就 是 : 在 Po 下 虚 警 概率 为 常数 。 在 了 由 观测 
序列 页 e, Y, 组 成 的 条 件 下 考虑 序列 检验 问题 ， 即 基于 {6, Cy vets Ya) baci AY AE AF 
参数 检测 。 也 就 是 说 ， 对 于 所 有 的 PEP, limPs(6,) 为 常数 。 

非 参 数 检验 和 检测 器 在 雷达 和 声呐 中 得 到 了 广泛 的 应 用 。 在 这 些 应 用 中 ， 非 参数 检测 
器 有 时 候 也 称 为 恒定 庶 警 概率 (CFAR) 检 测 器 。 下 面 给 出 一 些 常用 的 非 参数 方法 。 

1. 符号 检测 

假设 实 观测 序列 Yi ，…，Y, 满足 独立 同 分 布 。 定 义 参数 p WE p= PCY >O BAIS 
如 下 假设 检验 

Ho:p = 4 
(3.5. 3) 
H, > <p<il 

简 言 之 ， 式 (3. 5. 3) 是 零 中 值 相对 于 非 零 中 值 的 假设 检验 问题 。 需 要 指出 的 是 ， 这 个 
模型 出 现在 许多 应 用 当中 ， 例 如 在 式 (3. 5. 2) 中 ，0>>0 就 是 该 模型 的 子 集 。 

RG. 5. 3) 是 典型 的 非 参数 的 假设 检验 问题 。 根 据 式 (3.5.1)， 有 


P, = [P € MPO, = >} (3.5.4) 


P, = (P € Ml1> P(0,%) >>) (3.5.5) 


这 里 M 表 示 定 义 在 (R，B) 上 的 分 布 类 且 都 不 能 由 有 限 维 参量 表示 。 

为 了 推导 式 (3. 5. 3) 的 最 优 判决 准则 ， 首 先 在 P 中 选择 某 个 任意 分 布 的 Qi 。 为 方便 说 
明 ， 假 设 任意 分 布 Q, 的 概率 密度 函数 为 g,( 当 然 ， 没 有 这 样 的 假设 同样 可 完成 下 面 的 推 
导 ) 。 定 义 两 个 函数 


g(x), x>0 
G(x) = 
XO 


0 x>0 
qa) = (3.5. 6) 
q(x) remo 
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在 (R，8) 上 定义 概率 密度 函数 go 为 

qi (x) 4 te) 
?| qn (2) de a| qn (2) de 
注意 ， 与 概率 密度 函数 ge 所 对 应 的 任意 分 布 Q 属于 假设 检验 Pu 的 范畴 ， 这 是 因为 


qi (a) dz 1 
tives) = is go(x)de 一 他 一 一 一 一 六 (3. 5. 8) 


| - qı (x)dx 


Q(x) = 





[cp 


考虑 如 下 简单 的 假设 对 
Ho:Yi ~ Qo k=1l1,,n 
Hi:Yi ~Q, Reisen 
根据 尼 曼 -皮尔 还 准则 ， 似 然 比 检验 是 虚 警 概率 为 a 的 最 大 势 检 验 ， 似 然 比 按照 下 式 计算 


(3.5. 9) 





Cy.) 
Lo) = TT 22 (3. 5. 10) 
7 I go (ye) 
注意 

ACT [2 sachet (3.5.11) 

qo Cyn) 2(1— QF); » <0 
其 中 Qt AQ((0，co))， 因 此 工 (y) 可 以 写 为 

L(y) = PER TFIA A-Q] (3.5.12) 
Hp 

t(y) A Dyulyi) (3. 5. 13) 


k=1 


u HAR PAAR. ELAK ula) =1, 1>0; u(x) =0, ce0, BRA, tUM AWM Zl y 
为 正 的 个 数 。 

由 于 1/2 二 Qi <1, PRU Qi /A—-Qi)>1, BLOAT ty) HA PR, 
此 ， 人 恒 虚 警 概率 为 a 检验 由 下 式 给 出 


lL aly) >T 
S.O =y, t) =r (3.5.14) 
0, t(y) =f 


这 里 y 和 分 别 是 虚 警 概率 为 FBLA A. CY) FETE Hi FARM Gn, QS) Al 
在 H, 下 服从 (n，1/2) 的 二 项 随机 变量 。 给 定 虚 警 概率 a， 立 值 是 满足 下 式 的 最 小 整数 





nT nl 
一 一 一 一 3:5. 15 
2 aom =" : r 
随机 常数 是 
= n! 
Gb (3. 5. 16) 
r= on n! jki 
(n—r)!r! 


对 任意 Q, EP。，i(Y) 服 从 参量 为 (n，1/2) 的 二 项 分 布 ; WP 类 中 的 所 有 分 布 ， 
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AG. 5.14) 的 虚 警 概率 都 是 a。 因 此， 假设 检验 (3.5.14) 是 非 参 数 检验 。 这 也 说 明 
式 (3. 5.14) 是 显著 性 水 平 为 a 的 最 大 势 检 验 。 另 外 ， 式 (3. 5. 14) 的 检验 不 取决 于 Q 的 选 
择 ， 因 此 具有 一 臻 最 大 势 。 

AA tse H 下 服从 (2z， 妨 ) 的 二 项 分 布 ， 式 (3. 5. 14) 的 检测 概率 为 

Po = A ane A aii troir tp (8.5.17) 
由 式 (3. 5.17) 可 以 看 出 ， 尽 管 在 H, Fo, 的 虚 警 概率 是 常量 ， 但 是 其 检测 概率 仍 取决 于 
PEP， 因 此 也 就 受到 P 的 选择 约束 。 显 然 ， 随 着 p 从 1/2 变 到 1，Pb 从 a 单调 增 大 
到 1。 

假设 检验 式 (3. 5. 14) 只 使 用 观测 值 的 符号 特征 ， 这 就 是 众所周知 的 符号 检测 。 虽 然 符 
号 检测 是 显著 性 水 平 为 a 的 一 致 最 大 势 (UMP) 检 验 。 不过， 如 果 已 知 两 种 假设 下 观测 值 
的 精确 分 布 ， 利 用 似 然 比 进行 检测 能 获得 更 好 的 检测 结果 。 换 言 之 ， 给 定 与 类 Pi 相对 的 
PEP, 后 ， 符 号 检测 并 非 显著 性 水 平 为 a 的 一 臻 最 大 势 检 验 。 因 此 ， 研 究 检 测 器 在 观测 值 
分 布 信息 未 知 的 情况 下 相对 于 部 分 信息 已 知 的 性 能 损失 就 显得 非常 重要 。 

为 了 更 好 地 解答 这 个 问题 ， 考 虑 利用 3.3 节 中 所 介绍 的 Pitman 渐 近 相对 有 效 性 
(AER) 来 进行 渐 近 ”>ce 分 析 。 根 据 定 义 ， 一 个 检测 器 相对 另 一 个 检测 的 渐 近 有 效 性 是 通 
过 利用 样本 趋 于 无 穷 时 达到 相同 性 能 所 需要 的 相对 样本 数 来 衡量 。 

为 了 更 好 地 利用 渐 近 相对 有 效 性 来 分 析 符 号 检测 ， 需 要 建立 一 个 特殊 的 检验 模型 来 作 
为 参考 。 为 此 ， 再 次 考虑 如 下 模型 


Ho:Y; = Ni, k= 1,2,.,n 
(3.5.18) 
H,:Y, = Nit0, k= 1,2,°,n 
其 中 Ni, Na, s No 是 均值 为 0 的 独立 同 分 布 序列 。 与 上 面 讨 论 的 结果 一 致 ， 


式 (3. 5.18) 可 归结 为 独立 同 分 布 加 性 噪声 中 的 恒定 信号 检测 问题 。 
如 果 假 设 式 (3. 5.18) 中 的 噪声 服从 方差 a 未 知 的 正 态 分 布 V(0，o? )， 则 在 无 偏 判 决 
中 ， 显 著 性 水 平 为 a 检测 的 UMP 可 由 下 式 给 出 
y 
[s? ]/? >r 
TOD = 47 FE (3. 5. 19) 


X 
[e <r 





JEP TAT DREAM, BLAIA nM a EoD 
式 (3. 5.19) 所 描述 的 假设 检验 也 称 为 检验。 这 个 检验 不 但 是 式 (3. 5. 18) 在 高 斯 条 件 
下 的 UMP， 而 且 通过 恰当 选择 门限 + 二 B (1 一 a)/Yz 和 随机 值 Y 后 ， 只 要 噪声 具有 零 均 


值 且 方差 有 限 ， 它 就 是 虚 警 概率 Ps 二 a 的 渐 近 非 参 数 检测 器 。 因 此 ， 虚 警 概率 可 由 下 式 
给 出 
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Pr(6,)= PukEY/(S)22 > r] + yP [Y6 = r] 
e s Dr (Py >o a=o |+ yp P| ze Dr, (SP)? =o tia | 
(3.5.20) 
HEIRS AWE BE, SRO RCE varCN,)， 又 根据 中 心 极限 定理 ，H 下 a> Y,/ 


CS?) RAY ARF IRN CO, DANE. RE 


limPs(5,) = ae ao @ nde =a (3. 5. 21) 
AG. 5. 21) 表 明 上 检验 是 渐 近 非 参数 检验 。( 注 意 ， 因 为 分 布 的 极限 连续 ， 所 以 与 y 无关)。 

从 上 面 的 分 析 可 知 ，z 检验 是 高 斯 噪声 下 式 (3. 5. 18) 的 最 优 检 验 ， 也 是 有 限 方差 噪声 
下 的 渐 近 非 参 数 检验 。 既 然 第 一 个 问题 与 检验 式 (3. 5. 3) 的 子 集 对 应 ， 在 对 噪声 增加 零 中 
值 约束 后 ， 第 二 个 问题 也 与 检验 式 (3. 5. 3) 的 子 集 对 应 。 所 以 对 于 后 一 种 情况 ， 对 比 研究 
符号 检测 和 上 检验 就 非常 有 意义 。 

如 果 假 设 式 (3. 5. 3) 的 噪声 概率 分 布 函数 了 的 均值 为 0， 方差 到 一 ce， 且 分 布 函数 在 
零 处 连续 ， 直 接 利 用 Pitman-Noether 定理 ， 式 (3. 5. 18) 所 描述 的 上 检验 相对 于 符号 检测 的 
渐 近 有 效 性 为 





ARE, = 482 f?(0) (3. 5. 22) 
以 高 斯 噪声 为 例 ， 已 知 其 概率 密度 函数 f ERANO, 到 ) 的 正 态 分 布 ， 则 式 (3. 5. 22) 变 为 
ARE.. = 40 ( if = 2 ~ 0. 64 
To 


即 z 检验 需 要 的 样本 是 同等 符号 检测 所 需 样本 数 的 64%。 对 拉 普 拉 斯 噪声 [ f(x) 二 (a/2) 
ell IMA, RA’ =2/7 后 ， 有 


ARE,,, = 8($g) =% 


即 上 检验 所 需 样 本 数 是 符号 检测 的 2 倍 。 需 要 说 明 的 是 ， 从 渐 近 有 效 性 来 看 ， 符 号 检测 在 
拉 普 拉 斯 噪声 背景 下 是 最 优 的 。 

事实 上 [ 详 见 Kendall 和 Stuart(1961)]， 对 于 任意 具有 对 称 单 峰 形 式 的 密度 函数 [ 例 
Mm, MFlal>lal., A fD=f(—-DA fC x D>f z |) Mar], ARE, A BE 
满足 如 下 不 等 式 

ARE,,, > 1/3 (3. 5. 23) 

因此 ， 在 这 些 条 件 下 ,上 检验 需要 的 样本 数 至 少 为 同等 符号 检测 的 1/3。 因 为 没有 
一 致 上 界 ， 当 噪声 分 布 很 宽 时 ， 符 号 检测 比 上 检验 更 有 效 。 此 外 ， 就 大 量 不 同类 型 的 分 
布 而 言 ， 符 号 检测 都 是 非 参 数 化 的 ， 而 上 检验 仅 是 某 些 分 布下 的 渐 近 非 参 数 化 假设 检 
验 。 符 号 检测 的 另 一 个 突出 优点 是 计算 简单 ， 在 信号 检测 中 经 常用 来 代替 最 优 方法 。 尤 
其 是 在 雷达 恒 虚 警 检测 中 ， 符 号 检测 和 上 检验 都 得 到 了 广泛 应 用 (此 时 符号 检测 也 称 为 
二 进 制 积累 器 /累加 器 ) 。 

2. 秩 检验 

从 上 面 的 讨论 可 以 看 出 ， 相 比 其 他 需要 观测 数据 先 验 信息 的 其 他 检验 方法 而 言 ， 即 使 
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在 最 坏 情 况 下 ， 符 号 检验 也 是 相当 有 效 的 。 不 过 ， 如 果 能 够 利用 观测 数据 更 多 的 先 验 信 
息 ， 就 能 在 保留 符号 检验 非 参数 特性 的 同时 大 幅度 提高 最 坏 条 件 下 的 检测 性 能 。 


n 


例如 ， 将 式 (3. 5.13) 所 描述 的 符号 检测 中 的 统计 量 K?) 一 DJ uCon) 用 带 权重 的 
> az (yo BEE, SEH ) 为 样本 y 按照 绝对 值 增 大 的 顺序 重新 排列 后 的 序数 。 即 假设 将 
Mio ts Yn 按照 Fer Mg ,来 排列 (其 中 | ye, |< | ye, [vers | ya, 1) 后 ， 对 统计 量 进行 
门限 检测 


tw(y) = D, iu ly) (3. 5. 24) 
i=1 


这 就 是 著名 的 Wilcoxon 检验 ， 它 是 秩 检 验 的 特例 ， 依 赖 于 每 个 样本 在 整个 观测 序列 中 
的 秩 。 
式 (3. 5. 24) 可 改写 为 


tw (y) = D Ducy, +y;) (3.5. 259 
RG. 5. 25) 的 具体 推导 过 程 留 作 练习 。 显 然 ， 在 观测 数据 ZW = Y, 满足 独立 同 分 布 条 


件 和 边缘 分 布 对 称 [ 对 于 所 有 实数 都 有 Fv (6) =1— Fy, (—6) JI, Wilcoxon 秩 检验 是 非 
参数 化 的 假设 检验 。 相 比 中 值 为 0 的 一 类 分 布 ( 符 号 检测 仍 是 非 参 数 化 的 ) 而 言 ， 此 时 的 概 
率 分 布 范围 要 小 得 多 。 针 对 式 (3. 5.18) 所 描述 的 假设 检验 问题 ， 根 据 Pitman-Noether 定 
H, Wilcoxon 秩 检验 相对 上 检验 的 渐 近 有 效 性 为 


ARE,., = 120? 





F PCadz| (3. 5. 26) 


在 式 (3. 5.26) 中 需要 假设 噪声 具有 对 称 分 布 特性 。 在 高 斯 噪声 [LN ~N OO, DIF, A 
ARE,,, 二 3/x 二 0.955， 即 Wilcoxon 检验 在 高 斯 背景 下 近似 最 优 。 在 拉 普 拉 斯 噪声 条 件 下 ， 
ARE,,, 二 1.5， 即 相 比 符号 检验 而 言 存 在 25% 的 渐 近 有 效 性 损失 。 更 一 般 地 ， 在 噪声 对 称 分 


布 和 | x (zx)dz 约束 下 ， 最 小 化 | foda =o 后 [ 详 见 Kendall 和 Stuart(1961) ]， 有 


ARE,,,, = 0. 864 C3. 5: 279 
GR, Wilcoxon 检验 相对 上 检验 而 言 ， 渐 近 有 效 性 不 低 于 86. 4%。 另 外 ， 因 为 无 法 限制 
方差 ， 所 以 ARE。, 没 有 确定 的 上 界 ， 即 Wilcoxon 检验 要 比 上 检验 有 效 得 多 。 不 过 ， 
Wilcoxon 检验 需要 存储 所 有 样本 后 才能 计算 统计 量 ， 不 利于 工程 实现 。 
相 比 上 检验 而 言 ， 可 以 通过 采用 比 Wilcoxon 检验 更 复杂 的 秩 检验 来 获得 更 好 的 性 能 。 
例如 Fisher-Yates 检验 ， 也 称 归 一 化 评分 检验 ， 它 对 应 的 统计 量 为 


try (y) = $y, [oot (3. 5. 28) 
和 Wilcoxon EEEE, yao eo m BARREZ, RA h, 定义 式 为 


0, i=0 
h,@) = C3, 5.299 
EiXe}s i= lyen 


其 中 XX 二 Xo 三 … 二 X6 是 服从 标准 正 态 分 布 的 随机 变量 Xi X2; 0s Xn 对 应 的 有 序 
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值 。 相 对 于 t 检 验 ，Fisher-Yates 检验 的 效率 满足 
AREry,, 宇 1 
可 见 ，Fisher-Yates 检验 的 效率 总 不 低 于 it 检验。 不 过 ，Fisher-Yates 检验 的 计算 复杂 度 
明显 高 于 上 检验 。 i 
有 关 秩 检验 更 深入 的 讨论 ， 建 议 读 者 参考 Hajek, Sidak (1967) 和 Kendall (1948) 的 
著作 。 
3. 双 通 道 检验 


在 很 多 应 用 中 ， 观 测 数据 由 两 个 或 多 个 传感器 (通道 ) 同 时 采样 获得 。 例 如 在 声呐 、 地 


震 学 、 射 电 天 文 等 研究 领域 ， 常 采用 阵列 传感器 来 采集 信号 。 下 面 结 合 双 通道 检测 实例 介 
绍 多 通道 检测 的 非 参 数 化 方法 。 

考虑 包含 ”对 独立 随机 变量 的 观测 序列 ， 如 Y=[CU ，Ww)，(U ，V )，…，(U，， 
V,)j， 其 中 Ui，Vi),， kk 二 1]，2，…, nn 互相 独立 。 利 用 两 个 传感器 检测 是 否 存 在 随机 信 
号 是 上 述 模 型 的 特例 ， 可 建 模 为 


U: = N, 
Oo: 9 R= 1525 sn 
Vi = Wh, 
(3. 5. 30) 
U, = N, +S, 
i: , k=1,2, =n 
Vi =W, +S; 


HP {N} (Wa i= AI Sy Ji- ÆR A Bh S EA a E.A E Ah AS BLP. RD AB 
BANA Fy. Fw 和 下 s。 

AA BALE BA ee, WCU, VOE Ho 下 的 联合 分 布 函数 为 
Qo (u,v) = Fy (u) Fy Cv) (3... De 31) 
在 A, 下 的 联合 分 布 函数 为 


Qu = | Fy(u—s) Fv (w= dF 56s) (3. 5. 32) 


如 果 联 合 分 布 函数 Fu, Fw 和 Fs BH, 结合 式 (3.5.31) 和 式 (3.5.32) 可 计算 出 
式 (3. 5. 30) 中 最 优 检测 所 需 的 似 然 比 。 

例如 ， 假 设 Fy, Fw 和 下 s 都 是 双 变 量 高 斯 分 布 ， 每 个 变量 的 均值 都 为 零 、 方 差分 别 
为 var( N) =var(W,) =o’ 和 var(S 一 中 ， 且 两 个 变量 的 相关 系数 为 0。 则 Q 是 双 变 量 高 
斯 密度 函数 ， 两 个 分 量 的 均值 均 为 0， 方差 均 为 ao。， 相 关系 数 为 0; Q 也 是 双 变 量 高 斯 密 


度 ， 两 个 分 量 的 均值 均 为 0， 但 方差 都 为 oe/(1 一 p)， 相 关系 数 为 op 其 中 pAdi/(o’ to). 


X TEAK, BERKAH a 的 UMP 检验 由 能 量 检测 器 给 出 ， 即 
l, Sita fal ex 


OEp Cy) es S) (za 十 vw)? =e (3. 5. 33) 
k=1 





0, D Gutu) <r 
k=1 
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门限 z+ 的 大 小 由 虚 警 概率 a 决定 。 式 (3. 5. 33) 的 性 能 分 析 方 法 与 3. 2 节 单 通道 辐射 计 的 分 
析 方 法 类 似 。 


在 实际 应 用 中 ， 联 合 分 布 函 数 Fy, Fw 和 下 s 通常 未 知 ， 有 必要 寻求 非 最 优 检测 器 。 
例如 常用 的 极 性 重合 相关 器 (PCC)， 它 的 判决 形式 为 


n 


1, Juun) > 


k=1 
n 


ôrcc (y) = 47> X uur.) =r (3. 5. 34) 


k=1 





0, Sutu) <t 
JEH RRA RBC. 
N x > 0 
u(x) = G3. 53:35) 
0, 20 
检测 器 根据 观察 数据 “ 极 性 重合 ”的 次 数 进行 判决 ， 也 就 是 根据 两 个 通道 的 数据 符号 相同 的 
次 数 进 行 判 决 。 根 据 式 (3. 5. 30) 的 模型 H, 假设 下 两 个 通道 的 信号 相同 ， 互 。 假设 下 两 个 


HS. Alb, Hi 下 极 性 重合 的 次 数 应 该 更 大 。 显 然 ， 极 性 重合 的 次 数 可 作为 判 
断 信号 是 否 存在 的 合理 途径 。 


n 


无 论 是 Ho 假设 还 是 H, 假设，PCC 的 统计 量 trcc(Y) a X uU, Vi) 都 是 nn 个 独立 同 


分 布 伯 努 利 随机 变量 的 和 。 因 此 ,在 H; 假设 下 ，tpcc(Y) 是 服从 (n， 4;) 的 二 项 式 随 机 变 
Æ, HF a= P; (UiV1 宇 0), j=0, 1. TUSA 
a; = P;U; > 0,V, 0)+P,(U <0,V, <0) 
简化 后 有 
à; = 1—Q,(0,00) —Q;(09,0) + 2Q; (0,0) (3. 5. 36) 
结合 式 (3. 5. 31) AIK (3. 5. 32), A 


i say eae 
Ay = 1— Fy(0) — Fw (0) + 2Fy(0) = 5 + 2| Fw(O) z || Feo F] 


(3: 5:37) 
和 
N=1—| Fu dFs() —| Fw dFs(s) 
+f Do EY oD 
1 wd ch. 
i ef [Fe ; ][Fr ]aFse (3. 5. 38) 


需要 注意 的 是 ， 只 要 任意 一 个 噪声 过 程 的 中 值 为 0， 即 Fy(0)=1/2 或 者 Fw(O)= 
1/2， 就 有 A =1/2 成 立 。 进 而 ， 在 至 少 有 一 个 中 值 为 0 的 一 类 噪声 分 布下 ，PCC 都 是 非 
参数 化 的 检测 器 。 这 是 因为 在 这 类 噪声 分 布下 ，trcc 服 从 (n，1/2) 分 布 ， 且 通过 合理 设置 
rt 和 7 可 实现 设 定 的 虚 警 概率 «。 
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对 比 PCC 和 高 斯 信道 对 应 的 最 优 检测 器 是 非常 有 意义 的 。 假 设 Fw 和 Fw 的 概率 密度 
函数 分 别 为 fw 和 fw， 同时 假设 fy 和 fw 在 0 处 连续 上 且 二 阶 矩 和 四 阶 矩 为 有 限 值 ， 针 对 
式 (3. 5. 30) 所 描述 的 假设 检验 模型 ，6pcc 相 对 于 sp 的 渐 近 有 效 性 可 表示 为 

AREpcc,en = LYN + YW + 40h0% — oh — of fA (0) fh (0) 
其 中 
on A E{Ni}, ov A E{Wi}, yr A ENI), Yw a E{Wi} 
以 同 分 布 的 高 斯 信道 为 例 ， 即 
Ni~N(0,0), W ~ N(0,0) 
可 得 
on = ow =o 


进而 可 计算 出 


AREpbcc, ep = 2 = 0. 202 
T 


类 似 地 ， 对 于 相同 分 布 的 拉 普 拉 斯 信道 而 言 ， 即 fy, = fw, a) Sell, RA k= 


ow =2/a° A YN = Yw = 24/e° 后 ， 有 
AREpcc,ep = 3. 5 

在 高 斯 信道 下 ，PCC 相 比 功率 检测 器 而 言 要 差 得 多 ; 但 在 拉 普 拉 斯 信道 下 ，PCC 却 
能 获得 更 好 的 性 能 。 在 高 斯 信道 下 ，PCC 以 降低 效率 为 代价 ， 实 现 处 理 的 简单 化 和 非 参 数 
化 检测 。 与 单 信道 情况 类 似 ， 采 用 基于 秩 的 更 复杂 的 检测 结构 后 ， 双 通道 或 多 通道 检测 也 
能 在 保留 非 参 数 性 能 的 同时 大 幅度 提高 性 能 。 

式 (3. 5. 30) 给 出 了 双 信 道 检测 模型 的 一 般 情 况 。 双 通道 检验 的 另 一 类 问题 是 在 参考 噪 
声 源 中 检测 信号 ， 即 假设 检验 问题 可 描述 成 


U, =N, 
ož ’ kR=1,2,°%+5n 
V,=W, 
C3. 5.39). 
U, = N, 
13 ’ k= 1,2, ,n 
Vi =W, +S: 
HP {N:n (Wi hia EAE a RA A E A He Aa 3h ee] A RE SEA, CS, DEH 


是 与 噪声 独立 的 信号 序列 。 增 加 U 通道 的 一 个 噪声 样本 后 ， 该 问题 类 似 于 常见 的 V 通道 
单 样本 检测 问题 ， 在 不 存在 检测 信号 的 时 段 ， 两 组 噪声 样本 可 由 一 个 通道 采集 ， 因 此 可 存 
储 下 来 作为 后 续 处 理 的 附加 样本 。 为 了 简便 起 见 ， 在 3. 5. 39 中 假设 每 个 通道 下 的 样本 数 
一 致 ， 尽 管 这 一 假设 在 实际 处 理 中 并 非 必要 。 

针对 式 (3. 5. 39) 所 描述 的 假设 检验 问题 ， 有 多 种 判决 准则 可 用 来 检测 信号 。 在 独立 假 
设 下 ， 如 果 噪 声 的 统计 特性 精确 已 知 ， 则 仅 含 噪声 的 采样 通道 无 法 用 于 检测 ， 原 因 在 于 似 
然 比 中 与 U4 有 关 的 所 有 量 都 消失 了 。 因 此 ， 只 有 在 噪声 分 布 未 知 时 ， 不 含 信号 的 信道 才 
是 有 用 的 。 

只 有 当 信 号 是 正常 数 时 ， 双 样本 形式 的 Wilcoxon 检验 才 是 式 (3. 5. 39) 的 一 种 有 效 检 
验方 法 ， 它 基于 统计 量 
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Tan (3. 5.40) 
Hp, n RATA UU ui, +t, u, Alvi, =, v, 按照 递增 顺序 合并 排列 后 ww 的 秩 。 这 
种 检验 方法 也 称 为 Mann-Whitney 检验 。 与 式 (3. 5. 40) 等 价 的 统计 量 是 
>> Duco, — uj) 


k=1 j= 


由 上 式 可 知 ， 噪 声 对 称 分 布下 的 Mann- Whitney 检测 器 是 非 参 数 化 检验 。 与 单 通道 的 
Wilcoxon 检验 类 似 ， 与 式 (3. 5. 40) 的 检测 器 相 比 ， 采 用 双 信 道 检验 是 非常 有 效 的 。 
Mann-Whitney 检验 可 归结 到 Kolmogorov-Smirnov 检验 的 范畴 ， 此 类 检验 基于 下 列 
函数 表示 的 泛 函 
Fy(z) — Êu (£), — œ< r< oo 
Hop Fy (x) Py OERE u hi A o i AR RR B Ay (xz) 定义 为 


Êa) = Siula) 一 ce < r< (3. 5:41) 
k=1 


Fy RAHMAN ES. ME n>, Fy DAF, aF U, AV, 的 边缘 分 布 ， 其 
2 BMP, — Fy TARH U, i- AL Vi i FE AS A AB 9 3-4. BR Mann-Whitney 检验 
之 外 ， 将 统计 量 sup (Fy) — Fy (x) JR sup | Fy (x) Êu Cx) | 与 门限 进行 比较 的 检 
WAER AES eG. HEU; i MV) ;_ ,服从 相同 边缘 分 布 时 ， 它们 是 非 参 数 化 
检验 ， 且 在 一 定 虚 警 概率 范围 内 的 检测 性 能 优 于 Mann-Whitney 检验 。 在 非 参数 检测 的 相 
关 理 论 和 应 用 方面 更 详尽 的 描述 ， 可 参考 Kassam 和 Thomas(1980) 的 著作 。 
3.5.2 稳健 检测 

在 3. 2 节 中 研究 了 观测 数据 统计 特性 精确 已 知 下 的 检测 系统 设计 问题 ;在 3. 5. 1 中研 
究 了 几乎 不 依赖 观测 值 统 计 特征 的 检测 系统 。 除 去 这 两 种 极端 情况 ， 还 存在 精确 的 统计 模 
型 在 名 义 上 可 用 ， 但 实际 上 有 偏差 的 情况 。 

例如 ， 针 对 独立 同 分 布 序列 Zi ，…， 了 区， 考虑 在 两 个 可 能 边缘 分 布 Pb 和 Pi 之 间 的 
假设 检验 问题 。 假 设 密度 为 po 和 pl ， 则 基于 似 然 比 的 最 优 检验 为 


Pi ye) 
L(y) = II ATA (3. 5. 42) 


注意 ， KEE h (> Pow)» 还 是 po (yi) 人 pi(yi)， 似 然 比 对 观测 序列 值 都 非常 敏 
感 。 由 于 pi (yn) > po (on) FE A, 下 出 现 的 可 能 性 远大 于 它 在 Ho 下 出 现 的 可 能 性 (反之 亦 
然 )， 因 此 ， 似 然 比 的 敏感 性 通常 也 就 默认 为 判决 器 的 特性 之 一 。 

进一步 假设 实际 的 边缘 分 布 不 精确 等 于 P 和 已 ， 其 近似 表达 形式 为 Pu KM Pi. Bi 
如 ， 假 设 实际 分 布 有 如 下 形式 

(1—e)P,+eM, 3=0,1 (3. 5. 43) 
这 里 P, MP 是 名 义 上 的 分 布 ，M 和 Mi 未 知 ， 且 为 任意 “污染 ”分布 ,是 0 一 1 之 间 的 





O HEDT, fro E u 大 于 等 于 xz 的 个 数 除 以 w 的 总 数 。 
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数 ， 表 示 此 模型 中 的 不 确定 度 。 例 如 ， 在 通信 信道 或 雷达 传播 环境 中 ， 外 部 干扰 只 是 在 小 
部 分 时 间 内 出 现 ， 或 者 脉冲 噪声 (闪电 等 ) 以 概率 e 出 现 。 同 样 地 ， 传 感 器 间歇 性 失效 、 测 
量 或 数据 记录 错误 也 可 按 这 种 方法 建 模 。 式 (3. 5. 43) 的 核心 是 用 OM, 来 表征 估计 模型 中 完 
全 未 知 的 部 分 。 

假设 pi Cy) /Po (yi) 是 关于 y 的 无 界 函数 。 由 于 M 任意 选取 ， 则 其 可 取 遍 所 有 
Pi(ye) 人 po 《yi) 的 区 域 。 如 果 仍 然 采 用 标 称 似 然 比 进行 判决 ， 那 么 可 能 会 增 大 虚 警 概率 。 
正如 下 文 所 述 ， 模 型 误差 会 使 得 虚 警 概率 (和 整体 错误 概率 ) 大 致 在 (1 一 (1 一 e)") 量 级 , E 
随 着 n 的 增 大 而 增 大 ,在 n==1 时 等 于 e。 很 多 检测 系统 的 虚 警 概率 都 设计 在 10“~10“' 范 
围 ， 因 此 ， 即 使 存在 1% 的 模型 不 确定 性 ， 都 可 能 会 影响 系统 的 虚 警 概率 。H' 下 也 存在 
类 似 的 问题 ， 即 如 果 pi Con) / Po (yi) 可 无 限 趋 近 于 0， FE pi O) K po (yi) 的 区 域内 遍 取 Mi 
后 会 导致 似 然 比 低 于 判决 门限 。 © 

尽管 上 面 的 讨论 是 定性 的 ， 但 也 正 是 因为 py (yi)/po 《yi) 可 无 穷 大 ， 也 可 无 限 趋 近 0， 导 
致 了 似 然 比 检验 缺乏 稳健 性 。 特 别 是 模型 中 相对 小 的 偏差 都 可 能 会 导致 明显 的 性 能 损失 。 能 
否 采用 其 他 途径 来 增强 稳健 性 呢 ? 显然 ， 根 据 前 面 的 分 析 ， 如 果 将 py/p。 用 上 下 都 有 界 的 形 


式 替换 后 ， 就 能 增强 似 然 比 检验 的 稳健 性 。 换 言 之 ， 假 设 将 乘积 [Tp 0/20) 中 的 La 
Pil po 替换 为 


b, IGY) >6 
DCy) =41ly), ax<ly) <b (3. 5. 44) 
a, ly) <a 


其 中 0 二 a 二 6 二 =。 通 过 选取 恰当 的 a AIO, MF TLC.) 的 检验 不 会 面临 ! 无 界 的 问 


题 。 然 而 ， 采 用 式 (3. 5. 44) 的 形式 后 ， 名 义 上 的 最 优 性 会 随 之 散失 ， 这 是 因为 当 !(Cy) 非 常 
大 或 接近 0 时 ， 观 测 所 携带 的 信息 量 最 大 。 

在 不 确定 模型 下 寻求 性 能 最 优 的 检验 准则 是 非常 有 意义 的 。 事 实 上 ， 上 述 关 于 似 然 比 
检验 稳健 性 的 讨论 为 设计 稳健 的 判决 准则 提供 了 依据 。 这 些 讨论 是 以 不 确定 模型 的 最 差 性 
能 为 出 发 点 ， 因 此 ， 在 标 称 模型 的 某 个 恰当 的 邻 域内 用 最 差 性 能 代替 错误 概率 就 是 非常 合 
理 的 设计 准则 [ 见 式 (3. 5. 43)]， 进 而 通过 优化 给 定 准 则 下 的 系统 性 能 来 设计 判决 准则 。 

回顾 一 下 ， 如 果 序列 Po 是 Y 的 真实 边缘 分 布 ， 检 验 O 的 虚 警 概率 为 


其 中 po 是 所 对 应 的 边缘 概率 密度 函数 。 类 似 地 ， 当 P; 是 准确 的 边缘 分 布 时 ， 漏 警 概率 为 
Pu Pi) = [a -W I PC) Jay) (3. 5. 46) 


为 简单 起 见 ， 假 设 代价 都 相同 ， 则 常用 的 二 元 假设 检验 判 据 是 : 
1) min[ r, Pr (és P,) 十 x; Pul, Pa) IO uH) 





O 即 降 低 了 检测 概率 。 一 一 译 者 注 
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2) min[max{Pr(ds Po), Pu, Pi) |AR/ ARAM 
3) min Py (ô, Pi), s.t. Pe, Po Sab B-K RM 
BEY, 的 真实 边缘 分 布 与 名 义 边缘 分 布 Po KP, 存在 差异 ,但 在 P 和 Pi 的 邻 域 
Po. Pi A. 在 1)~3) 中 , 将 Pr, Po) A Pw(G，P;) 用 最 差 性 能 值 代 替 ， 即 
Pr(6,Po) a aoe (3. 5. 47) 


和 
Pu Pı) A a »P) (3. 5. 48) 


检验 问题 的 等 价 形式 为 : 
1') min[x,Pr(8, Py) tm Pu, Pid] 
2') min[max{ Pr (6, Pa), Pu, Pid} ] 
3') minPu(d, Pi), s.t.Pr(, Po)<a 


在 所 有 可 能 的 检验 中 ，1 ) 一 3 ) 的 最 差 解 在 邻 域 P 和 Pi 内 的 代价 最 小 。 当 然 ， 在 邻 
域 设 置 过 大 时 ， 最 大 化 最 差 性 能 的 判决 可 能 会 过 于 保守 。 然 而 ， 此 处 认为 P。 和 Pi 是 名 义 
模型 的 小 邻 域 ， 且 目的 在 于 增强 该 邻 域内 的 稳健 性 。 事 实证 明 ， 对 于 式 (3. 5. 43) 的 不 确定 
模型 ，1 ) 一 3 ) 的 解 能 够 实现 预期 的 稳健 检测 目的 。 

虽然 Huber 和 Strassen(1973) ， 提 供 了 1) 一 30) 的 一 般 性 求解 方法 ， 但 其 稍 显 复杂 ， 
在 此 不 予 讨论 。 作 为 补充 ， 本 节 将 集中 讨论 式 (3. 5.43)( 也 称 为 e 污染 混合 模型 ) 在 特殊 的 
不 确定 邻 域 下 的 求解 方法 。 这 种 解法 由 Hubert 在 1965 年 提出 ， 并 首次 将 1) 一 3 ) 作 为 稳 
健 检 测 的 设计 准则 。 

事实 证 明 ，1 )~3 2) 的 解 是 在 QuEP, MQ EP 内 用 最 不 利 分 布 代 替 Po 和 Pi 后 
1) 一 3) 的 最 优 解 ， 其 中 Qu AQ, 的 密度 为 


(1l—e) poly.) > pi Cy) < c'bo lya) 
qo (ye) 


l—e j (3. 5. 49a) 
Pi Con)» Bi Cyr) & © po Cyr) 


和 
ay) = ees sual sh ecg (3. 5. 49b) 
c (l —e)poly)s Pily) Sc Polya) 
Hp, 0<c'<1<c"< oo AH Q 和 Q 的 概率 为 1 的 常数 ， 即 
AHER UY.) < c") + PUY) Sc)/c"J =1 (3. 5. 50a) 
和 
AALP UY) >c HP UY) Ce) = 1 (3. 5. 50b) 


似 然 比 是 1) 一 3) 的 解 ， 因 此 1 ~ 3 ) 的 解 也 是 Qi 和 Qs 的 似 然 比 ; 换 名 话说， 它们 基 
于 似 然 比 The Cyn) /qo (ye) o 结合 式 (3. 5. 49), 有 


C 3 ly) <e 
Ge = lig, farce (3.5.51) 
qo (ye) j 

c’, Lly) >c 
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从 而 式 1 ) 一 3 ) 的 解 是 基于 下 式 的 门限 检测 


TI Es ow (3. 5. 52) 
k=1 


至 此 ， 得 到 了 稳健 检验 的 解析 形式 。 就 优化 而 言 ， 上 述 判决 形式 在 求解 1 ~3 ) 时 具有 独 
特 作 用 。 特 别 是 ， 对 于 基于 似 然 比 [ 式 (3. 5. 52)] 的 任意 门限 检测 Se 而 言 ， 有 下 式 成 立 
Pr (Or ,Po) = Pr Cr: Qo) (3. 5. 53a) 
All 
Py (6r ,Pi1) = Pu (Ors Q) (3. 5. 53b) 
这 表明 On 的 最 坏 性 能 实际 上 是 在 分 布 对 (Qu ，Q:) 上 的 最 优 性 能 。 这 使 得 可 以 简单 地 通过 
估计 ôr 在 边缘 分 布 Q MQ 上 的 错误 概率 来 计算 Ps。 和 Pi 类 上 òr 的 错误 概率 的 上 界 。 
备注 
1) 从 某 种 意义 上 说 ， 最 不 利 分 布 Q AQ: EE Q EP HQ EP 约束 下 形状 尽 可 能 
相近 的 分 布 。 能 够 证 明 ， 如 果 PAP, H e 足够 小 (为 正 )， 则 方程 (3. 5. 50a) 的 解 满足 0 一 
c'<1<c"<co, RERE QAQ 和 6k 是 有 意义 的 检验 判决 。 另 一 方面 ， 如 果 e 太 大 ， 则 
P. AP: 将 会 重奏 ，c 二 c= 二 1 且 Q 一 Q。 在 这 种 情况 下 ，gqi(y4)/gqo (yi) 二 1 和 式 1 ) 一 3 ) 
的 解 忽 略 了 观测 值 。 因 此 ， 如 果 P。 和 Pi 的 邻 域 太 大 以 至 于 发 生 重 释 ， 那 么 1 ) 一 3 ) 就 不 
再 是 可 行 的 设计 准则 。 不 过 ， 如 上 所 述 ， 该 设计 准则 仅 针 对 e 较 小 的 情况 。 
2) 即使 e 非常 小 ， 分 布 采用 ! 和 [7js 进行 判决 后 ， 差 异 也 十 分 明显 。 以 m 二 于 一 172 
时 的 贝 叶 斯 公式 1) 为 例 ， 门 限 具有 一 致 性 且 可 进行 任意 的 随机 化 处 理 。 假 设 0<i(yi) 二 2 
和 superl (y) =œ, AX Mo 可 取 遍 所 有 的 可 能 性 ， 那 么 对 于 依赖 似 然 比 /的 判决 Se 而 
言 ， 任 意 观测 均 可 导致 概率 为 e 的 虚 警 。 在 个 独立 观测 下 ， 有 


Pr (ôo, Po) =>=1—~(1— e)” (3. 5s 54) 
类 似 地 ， 如 果 inf, erly) = 二 0， 则 在 Pi 下 oo 的 漏 警 概率 为 
Pu Oo, Pi) 之 1 一 (一 s)" (3. 5. 55) 


Be, TEP, AIP, 上 ， 最 坏 情 况 下 ôo 的 平均 错误 概率 为 
sup PQ) = T Pr Po) +F Pua Pi) Sz (ey 
对 于 任意 ce 二 0， 有 lim(1—e)"=0 成 立 ， 即 
lim[ sup P.(d.) ] = 1 (3. 5. 56) 


这 意味 着 6, 的 性 能 可 以 任意 差 。 实 际 上 ， 它 可 能 比 随 机 猜测 的 情况 更 差 ， 这 是 因为 猜测 
引起 的 错误 概率 是 1/2。 
与 此 相反 ， 考 虑 基于 qi /go 的 检验 oro 根据 性 质 式 (3. 5. 50a) ， 有 


sup, tax) = SPs (8x Q) + 5 Pu (ox Q) (3. 5.57) 
代入 切 诺 夫 界 [ 式 (3. 3. 18)]， 有 
supP. Cin) < L fiear] (3. 5. 58) 


正如 3. 3 节 中 所 提 到 的 ， 如 果 QAQ, A fon] 一 1 成 立 ， 风 
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lim[sup P.(dx)] = 0 | (3. 5. 59) 

合式 (3. 5. 56) 和 式 (3. 5. 59) 易 知 : 按照 最 差 性 能 准则 ，P (56) 以 指数 形式 收敛 于 1, 

而 P。(6g) 依 指数 收敛 于 0。 尽管 使 P. CO. IF 1 的 情况 较为 极端 ， 但 却 能 说 明 非 稳健 似 

然 比 检验 的 局 限 。 需 要 注意 的 是 ， 在 通常 情况 下 ， 根 据 切 诺 夫 界 ，P.(6,) 也 收敛 于 0。 因 
此 ， 在 最 坏 情 况 下 ，6r 达到 了 与 通常 情况 相似 的 性 能 。 

D PRT e 污染 混合 模型 之 外 ， 由 其 他 非 确定 性 模型 也 能 得 到 式 1 ) 一 3 ) 的 解 。 事 实 

上 ， 人 允许 不 同 假设 下 的 混合 参数 。 存在 变化 后 ，e 污染 混合 模型 也 可 推广 到 更 一 般 的 形式 。 

例如 ， 不 同 假设 下 的 邻 域 可 表示 为 Po 二 {Ploe(P，P。)<<eo} 和 Pi 二 {Plp(P，P1) 过 ea}, 其 

中 o 为 概率 分 布 的 某 种 距离 度量 方式 。 在 大 多 数 情况 下 ， 式 工 一 3 的 其 他 形式 的 解 与 es 污 

梁 混 合 模型 在 最 不 利 分 布下 的 解 近似 ， 且 它们 常常 需要 对 似 然 比 进行 某 种 幅度 限制 。e 污 


染 泥 合 模型 也 可 推广 为 时 变 模型 ， 此 时 仅 需 将 T[ [4 了 Cs) H TT Coli cy， 其 中 


是 第 个 样本 名 义 上 的 似 然 比 ， 而 co 和 c" ERG. 5. 50a) 在 第 个 名 义 分布 上 的 解 。 
下 面 通过 实例 来 说 明 以 上 结论 的 应 用 。 


限 幅 -相关 器 
重新 考虑 相干 信号 检测 问题 如 下 : 
HoisY; = Nis k= 1,2,.,n 
Hi:Y¥, = Ni +s, k=1,2,.…,n 
其 中 ，s; ，…，s, 是 已 知 的 信号 序列 ，Ni ，…，N, 是 独立 同 分 布 且 服从 W(0，1) 的 噪声 
序列 ，9 为 已 知 振幅 ( 正 实数 )。 显 然 ， 第 个 样本 对 应 的 似 然 比 为 Li (yi) 二 exp[L0s (yi 一 
0s4/2)][ 见 式 (3. 2.9)]， 其 对 数 似 然 比 为 


(3. 5. 60) 


log L(y) = P$O — 84/2) (3. 5. 61) 


由 此 ， 可 得 到 图 3. 5. 1 所 示 的 相关 检测 器 。 < 
实际 情况 下 ， 式 (3. 5. 60) 所 描述 模型 只 是 
近似 正确 。 因 为 噪声 严格 服从 N(0，1) 分 布 的 
可 能 性 很 小 ， 测 量 存在 非 线 性 ， 且 接收 信号 为 
信号 和 噪声 之 和 的 假设 也 不 完全 准确 。 因 此 ， 

为 更 切合 实际 ， 可 将 式 (3. 5. 60) 改 为 i 
H. :Y, ~ (1—e)P, eMo, k=1,2,; =n 
Hi:Y, ~ d—e) P® +eM®, k=1,2,.,n 图 3.5.1 高 斯 噪声 下 相关 信号 的 最 优 检测 器 





(3. 5. 62) 
其 中 P, BNO, DAt, PP ÆN Oss DAH, Ms A Mi? (kR=1, 2, 1, MATERA 
(M, 也 可 随 & 变 化， 但 不 会 改变 下 面 的 结论 ) e 的 值 在 0 一 1 之 间 。 
H EL, Cyn) 一 exp[Lb Cyr — 95/2) > A O<URCy,)<oo MZ, BY supy, erlk (y) 一 ce 
和 inf, crlk(y,)=0. Ale, 与 式 (3. 5.62) 讨 论 的 模型 类 似 ， 相 关 检 测 器 同样 存在 性 能 损 
失 。 在 此 条 件 下 ，Huber 稳健 似 然 比 检验 Op 能 获得 较 好 性 能 。 式 (3. 5. 62) 所 描述 的 检验 


问题 的 稳健 似 然 比 LeO = [Cee Tt Con) 的 对 数 形式 为 
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n 


logLr (y) = DCs C — 54/2) 13 (3. 5. 63) 


k=1 


Sith, dialog c, diAlog 以 。 与 之 对 应 的 稳健 检测 器 如 图 3.5.2 所 示 。 





图 3. 5. 2 ”高 斯 噪声 背景 下 的 相关 信号 的 稳健 检测 器 
利用 NN(0，1) 分 布 和 似 然 比 的 对 称 性 ， 可 以 得 到 di 二 一 4%， 且 dx 就 是 下 式 的 解 


o(; oa + Ose }re4]1+o( ey — 9st). GQ— 64 
其 中 @ 是 N(0，1) 的 累积 分 布 函 数 。 显 然 ， 随 着 e 由 0 开始 增 大 ，d 从 co 单调 递减 至 0。 
对 比 图 3. 5. 1 与 图 3. 5. 2 可 知 ， 图 3. 5. 2 在 乘法 器 和 累加 器 之 间 增 加 了 将 幅度 限制 在 
+d) 范围 内 的 限 幅 器 。 该 检测 器 也 称 为 限 幅 - 相 关 器 ， 由 Martin 和 Schwartz 在 1971 年 首 
次 提出 。 只 要 e 小 到 可 以 避免 五, MH, 假设 下 的 不 确定 集 发 生 重 闪 ,该 检测 器 就 是 稳健 
的 。 对 于 固定 的 <e， 这 相当 于 增 大 信号 强度 OARRARA. HHH. |s,|>0CR=1, 
2, +, MAY, Ho MH, 假设 下 的 不 确定 集 不 重 番 要求 90 二 0./min|s;|， 其 中 0. 是 式 (1 一 
e)B(0./2) 二 1/2 的 解 。 例 如 ， 如 果 e=0. 012, M) 0. 二 0.03; WR e=0.055, W 8. 二 0. 15; 
WR e=0. 138， 则 4.=0.4。 限 幅 - 相 关 器 在 低 信 了 曲 比 条 件 下 仍 具 有 稳健 性 。 不 过 ， 与 线性 
相关 器 不 局 ， 即 使 90 二 0.， 限 幅 - 相 关 器 也 不 具有 一 致 最 优 性 ， 因 为 dx 取决 于 909。 实际 中 得 
到 精确 的 0 通常 较为 困难 ， 这 限制 了 相关 器 和 限 幅 -相关 器 的 工程 应 用 。 为 此 ， 研 究 人 员 
已 经 提出 了 多 种 0 未 知 和 0 值 较 小 时 的 稳健 检测 方法 ， 具 体 可 参见 Kassam 和 Poor 在 1985 
年 发 表 的 有 关 稳 健 检 验 的 综述 性 文章 。 











3.6 习题 
1. 请 证 明 ， 当 输入 信号 为 s 王 (5,，…，s,)" 且 输 E EINN} =p)! 0k, Ln, |p|< 
人 噪声 均值 为 0， 协 方差 为 时 ， 滤 波 器 的 脉 l; s 是 已 知 的 信号 向 量 。 
冲 响应 为 (a) 请 证 明 下 列 检验 等 于 在 O=0 和 0 二 1 情况 下 
Zar Ligai 的 似 然 比 检验 
i = nok TS ~ 
j = 1 D brza >r 
其 中 二 >)s， 且 在 所 有 的 线性 滤波 器 中 时 go 一 
0， D orzi < 
刻 具 有 最 大 输出 信 品 比 。 
2. 假设 随机 观测 向 量 Y 可 表示 为 ; 其 中 
Y, =N, +0S; » k=l, =, n bı = si/o 


其 中 ，N 是 一 个 零 均 值 的 高 斯 随机 向 量 ， 且 满 . be = (sk — S )/0 V1— p's k= 2,°+5n 
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zı =mn/o 


ze = (ye yma) os VI—p, R= 2,40 
(b) 根据 Ca)， 求 出 检测 器 ROC 以 p/o. py nH 
自 变量 的 函数 表达 式 和 虚 警 概率 a。 
. 考虑 M 进 制 判定 问题 人 一 R") 
Ho:Y 一 入 十 so 
Hi:Y = N+ si 


Hy :¥ = N+ Sma 

HP, ss s9 > Mi zB MS AAA A 

AE HE || so |]? = |] si I]? =--- = lsm ll? 

(a) 假设 N~N(0， oT)， 在 所 有 的 假设 检验 出 
现 概率 相等 时 ， 请 设计 实现 最 小 错误 概率 
判定 准则 。 

(b) 进一步 假设 该 信号 是 正 交 的 ， 请 证 明 其 最 
小 错误 概率 为 

1 Mol ed)? /2 
P=- a [80] eo tds 
其 中 d’ = || 5 |? 
. 考虑 下 面 三 个 关于 实数 观测 序列 Yi, Yor ov, 
Y, 的 三 个 假设 检验 
Ho :Ys = Ni— s k=1,2,n 
HisY; = Ms k= 1,2,,n 
H::Y, = Nets, k=1,2, sn 

其 中 sis so ts s 是 一 个 已 知 信号 序列 ，Ni， 

Nz, s N, 是 服从 正 态 分 布 V(0，1) 的 随机 

变量 序列 。 

(a) 假设 这 三 个 假设 检验 等 概率 出 现 ， 求 出 判 
定 其 最 小 化 平均 错误 概率 的 判决 准则 。 

Cb) 假设 这 三 个 假设 检验 等 概率 出 现 ， 计 算 最 
小 化 平均 错误 概率 以 判定 假设 检验 。 

. 四 相 相 移 键 控 (QPSK) 是 习题 3 的 一 个 例子 。 

其 中 对 应 的 四 个 信号 C(M 一 4) 为 
su = Eusin(woeTGR 一 1) 十 (十 1/2)r/2)， 

k= Lm sy l= 0,°,3 
假设 参数 w、T、” 和 式 (3. 2.5) 一 致 。 求 

在 独立 同 分 布 W(0，o) 噪 声 下 这 几 个 信号 等 概 

率 出 现 的 最 小 错误 概率 (注意 : 信号 相互 之 间 不 

TES). 

PRY~N (pw, D, EPE RSI, AY, =E 

(Ya | Yis es Yeu} M6, = var (Ya | Yis vs 


Yı), HÊ, SEY), 6, =var(Yı). FAL, 
Iz, ++, I, 定义 如 下 

I, = (Y: —Y,)/ ôr, 
证 明 I~N O, D, HÆJ TERA Y 的 白化 
序列 。 


. 考虑 下 列 假设 检验 对 


Ho:Y¥: = Ni» k= 1,,n 
Hı :Y;, =N,+@S,, k=1,,n 
HH, N~NO, 允 ，s 是 已 知 的 ，8 是 一 个 和 
N 相互 独立 的 随机 变量 。 
(a) 假设 @ 是 一 个 以 等 概率 取 值 十 1 和 一 1 的 离 
散 随 机 变量 ， 求 显著 水 平 为 的 尼 曼 -皮尔 
逊 检测 器 和 ROC 曲线 。 
(b) (RIK O~N(O, of), ESPI, WEA WS e 
的 公式 为 
L(y) = k, etz toll? 
其 中 和 ks 是 正 的 常数 ， 并 求 出 ks。 


. 假设 有 观测 向 量 Yı =N; 0S, k=1, ots n 


其 中 N~N(0, 了 和 Si1，S;，…，S, 是 与 N 相 

互 独立 的 随机 变量 ， 且 其 中 每 一 个 都 以 等 概率 

取 值 十 1 和 一 1。 

(a) 求 检验 对 Hy :9 二 0 和 Hi :0=A 的 似 然 比 检 
验 ， 其 中 A 是 一 个 已 知 常数 。 

Cb) 对 假设 检验 (a)， 在 n=1 时 ， 求 在 虚 警 概 
HA ae (0，1) 下 尼 曼 -皮尔 逊 准 则 和 相应 
的 检测 概率 。 

(c) 在 这 个 模型 中 ， 检 验 Ho :O=0 和 H :0 天 0 
是 否 有 UMP 检验 ? 如 果 有 ，UMP 是 什么 ? 
如 果 没 有 ， 原 因 是 什么 ?〈 请 分 别 考虑 ”一 1 
和 n>1 两 种 情况 。) 


. 考虑 一 个 却 维 观测 随机 向 量 Y， 其 属于 下 列 两 


个 假设 检验 中 的 一 个 
Ho:Y=N 
Hi:Y = NALA- Os 0s] 
其 中 NoN O, D; A 是 一 个 非 随机 的 正 标量 ， 
随机 参数 9 是 一 个 不 依赖 于 N 且 以 等 概率 取 值 
十 1 和 一 1 的 随机 变量 。 信 号 sO 和 sO 是 已 知 
的 正 交 向 量 。 即 这 些 信 号 满足 以 下 条 件 
Kps - (> m=l 


0, msl 


(a) 假设 A 的 值 是 已 知 ， 求 假设 检验 Ho 和 H, 
的 似 然 比 。 
Cb) 考虑 如 下 复合 假设 检验 问题 
H,:A=0, Hi:A>0 
证 明 H AH, 的 局 部 最 大 势 检 验 由 下 式 
给 出 


1， Sls? +5] >y 
k=1 

DS) mls? +5] = y 

k=1 


0， DlyiLs® +5] <9 
k=1 


其 中 7 和 Yy 是 恰当 选择 的 阐 值 和 随机 值 。 
O 在 (a) 的 模型 中 ,， 求 (b) 检 测 器 的 接收 机 工 
作 特 征 。 
10. 再 次 考虑 习题 9 的 模型 ， 但 做 如 下 更 改 
。 噪声 分 布 是 NV(0， 2), PRR 2 二 0 不 是 


单位 矩阵 。 

*。 信号 sO Als EEE DRE A, 和》 分 
别 对 应 的 相互 正 交 的 特征 向 量 。 

“参数 9 不 是 随机 的 ， 而 是 等 于 一 个 固定 值 
BELO, 1]. 

分 别 求 出 该 模型 具备 最 好 和 最 坏 检测 性 能 时 的 

B 值 。 


11. 推导 式 (3. 2. 82)。 

12. 差分 相 移 键 控 (DPSK) 是 一 种 二 进 制 的 信 令 方 
案 ， 它 可 以 对 正弦 信号 进行 调制 。 如 果 当 前 调 
制 周 期 内 的 载波 信号 与 上 一 调制 周期 相同 ， 则 
传输 “0”; 如 果 当 前 调制 周期 内 的 载波 信号 是 
上 一 调制 周期 内 载波 信号 的 180 度 移 相 ， 则 传 
输 “1”。 采 用 与 例 3. 2.5 相同 的 信号 和 噪声 的 
假设 ,分 析 相 同 代价 和 等 先 验 概率 的 贝 叶 斯 判 
决 器 性 能 ， 并 计算 错误 概率 。 

13. 考虑 如 下 模型 


Y, = O SRi + Nio k= 1,*5n 
其 中 Sis S29 ”9 Sn 是 一 个 已 知 信号 序 
列 ， 6>0 是 常数 ， Ris R, aiaa R, Fl Ni; 


Na, e N, 都 是 服从 N(0，1) 的 随机 变量 。 
(a) 考虑 以 下 假设 检验 对 

Hy, :0=0 

H,:0=A 


: 考虑 关于 实 观 测 值 Yis Yz, = 
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其 中 A 是 一 个 已 知 的 正常 数 。 请 描述 尼 
曼 - 皮 尔 逊 检测 器 的 结构 。 
Cb) 考虑 以 下 假设 检验 对 
Hy :0 = 0 
H,:6>0 
求 存在 关于 ss s29 o> s, 的 UMP 检验 
的 条 件 。 
(c) 对 于 (b) 中 的 假设 检验 对 ， HP 5， 
so tty s 是 更 一 般 的 常数 ， 是 否 存 在 一 
个 局 部 最 优 检测 ? 如 果 存 在 ， 请 求解 。 
如 果 不 存在 ， 请 描述 广义 似 然 比 检验 。 


. R: =R: =+ =R, ~N O, 1), ARAN 相互 


独立 ， 在 此 条 件 下 重 做 习题 13。 


. 重新 考虑 例 3. 2.5， 其 中 振幅 序列 wa az, s 


a 由 下 式 给 出 


a, = Ab,, kR=1,2,*,n 


其 中 Sof =n MA 是 独立 于 相位 @ 的 正 随机 


变量 ， 且 服从 参数 为 A, 的 瑞 利 分 布 ， 其 概率 
密度 函数 为 

Paw = (a/Ad)exp{—a’/2A3}, a20 
求 尼 曼 -皮尔 逊 检测 器 及 其 门限 值 a， 并 推导 
出 ROC 的 具体 表达 式 。 


eC Truel ell?) ae (二 )/ »s(s)ds 


> Y, 的 假设 
检验 
Ho:Y; = Nes k= 1,2,,n 
Hi:Yi = Ne t sr, R= 1,2, ,n 
其 中 N; Nos o N, ERANO, 0° 5d AR BY 
独立 随机 序列 ; sis sev cy s 是 满足 sés=1 
的 序列 ; 0 FEAR IAN Cu 性 ) 分 布 的 随机 变量 ， 
且 独 立 于 Ni， Nes t+ Nae 
Ca) 证明 尼 曼 -皮尔 逊 检验 的 临界 区 域 为 


2 
n= (estat zal]? Sa) 


其 中 r ERE. GER: 根据 假设 H, Y 


的 协 方差 矩阵 等 于 co2 IHi ss.) 
Cb) 求 出 (a) 中 所 给 临界 区 域 对 应 的 虚 警 和 检 
测 概 率 。 
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18. MRG. 2. 111) 推 导出 式 (3. 2. 112) 。 


19. 


20. 
21. 


22 


23. 


24. 


用 pero ORR Ho 假设 下 对 数 似 然 比 的 累积 量 
母 函数 ， 并 假设 jr,o(s) 二 次 可 微 。 

(a) TEAR Cero (35) 一 sv) 是 ;的 凸 函数 。 

(b) 证 明 


pro G) = E{logL(Y) | H;}, j=0,1 


其 中 pro Cs) =L aro (s). 


Cc) 证 明 如 果 min[Ljr.。 (5s) 一 strj 在 s>1 时 取 最 
小 值 ， 那 么 在 * 一 1 时 min[pro (s) 十 (1 一 
5)rj] 取 最 小 值 且 最 小 值 为 零 。 

(d) 证 明 如 果 min[Lyr.o(s) 一 srj 在 s<0 时 取 最 
小 值 ， 那 么 在 s=0 时 min[Lpr.o (5s) 一 srj 取 
最 小 值 且 最 小 值 为 零 。 

推导 式 (3. 3. 15) 。 

计算 二 进 制 对 称 信道 在 等 于 先 验 概率 rm = 

xi 一 1/2 下 的 切 诺 夫 界 ， 并 将 它 与 实际 最 小 错 

误 概 率 进 行 比较 。 

考虑 如 下 假设 检验 对 

Ho:Y, = Ni — ss 
Hy:¥, = Na+ ss k=1,,n 

H N, No, s+, N, 是 独立 同 分 布 的 拉 普 拉 

斯 随机 变量 ，s, s29 o n 是 满足 立志 A>0 

的 已 知 信号 。 证 明 : 当 ”>ce 时 ， 最 小 错误 概 

率 趋 近 于 零 。 

考虑 在 N OO, PDRE REM AR IAN COO, Zs) 

分 布 的 信号 ， 其 中 n=2 BA 

: (1 ? 
Zs = o; (, r) 

对 于 相等 的 先 验 概率 ， 分 别 计算 p=0.0. p= 

—0.5 M p=+0.5, Wr =0.1, WB/ =1.0 

All o/o =10. 0 时 错误 概率 和 切 诺 夫 界 。 

NF Ah Fe a iS WY, You oy Yas 

计算 下 列 边缘 概率 密度 函数 对 应 的 切 诺 夫 界 


k= 1,,n 








pi = 0<y<l 
0, 其 他 
_ [47 0<y<1 
pw 其 他 
25. 独立 同 分 布 的 伯 努 利 观 测序 列 Y, Yos H 
分 布 为 
PY, = 1) = 1— P(Y, = 0) = 1/3, # M F 
和 
PCY, 1) 1— PY, =0) = 2/3, #H, F 


26. 


27. 


(a) 利用 Wald 近似 计算 值 A 和 B,， 使 得 
SPRT(A，B) 的 最 大 错误 概率 p" = 
max( pr, pu) WEF 0.01, KFA Wald i 
Ur. 求解 预期 的 样本 大 小 E{N |H} fl 
E{N|H,}. 
求解 尽 可 能 小 的 整数 >”， 使 得 固定 样本 数 
为 n 的 最 优 判 决 的 最 大 误差 概率 不 超过 
0.01。( 提 示 : 可 根据 切 诺 夫 界 计算 n.d 
精确 计算 (a) 中 的 p"、E{N|HH,) 和 和 
E(N|Hi}, 并 与 (a) 中 的 近似 值 进行 比较 。 
(提示 : 在 (a) 中 使 用 SPRT 得 到 的 值 相当 
F SPRT(A’, B’), 其 中 A’ 和 B’ 是 2 的 
HS BOUCHE.) 
假设 Ni, No, +, N, 是 均值 为 0、 方差 为 1 
的 独立 高 斯 随机 变量 ，S, ，S: ，…，S, 是 均 
值 为 0、 方 差 为 3 的 独立 高 斯 随机 变量 ， 且 相 
互 独立 ， 考 虑 如 下 假设 检验 对 

Ho Yy = Nes k= 152,20 

区 =Ss tN, R= 1,250" 
(a) 在 该 模型 下 重 做 习题 25(a) 。 
(b) 在 该 模型 下 重 做 习题 25(b) 。 
推导 式 (3. 5. 22) 。 


(b 


VY 


Ce 


w 


28. 证 明 式 (3. 5. 24) 和 式 (3. 5. 25) 是 相同 的 。 
29. 推导 式 (3. 5. 26) 。 
30. 验证 式 (3. 5. 54)。 
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4.1 引言 


第 2 章 和 第 3 章 讨 论 了 如 何在 随机 观测 Y 的 基础 上 从 两 个 可 能 的 统计 假设 中 设计 
最 优 判决 准则 。 在 许多 实际 应 用 中 ， 感 兴趣 的 不 是 在 两 个 (或 多 个 ) 离 散 情形 中 作 选 
择 ， 而 是 在 可 能 的 连续 状态 中 做 出 选择 。 特 别 地 ， 在 第 2 章 讨论 过 的 复合 假设 检验 问 
题 中 ， 可 以 考虑 将 观测 空间 的 一 类 分 布 由 一 个 或 者 一 组 参数 标识 。 但 是 不 同 于 复合 假 
设 检验 中 期 望 得 到 关于 参数 的 二 元 决策 ， 这 里 期 望 尽 可 能 精确 地 从 观测 数据 中 确定 参 
数 的 实际 值 。 

这 类 问题 称 为 参数 (点 ) 估 计 问 题 ， 本 章 将 讨论 与 参数 估计 最 优 算法 有 关 的 基础 理论 。 
在 假设 检验 问题 (也 可 认为 是 参数 估计 问题 的 一 种 特殊 情况 ) 中 ， 可 以 使 用 各 种 估计 原理 ， 
这 些 原 理 的 不 同 之 处 主要 在 于 参数 已 知 先 验 信息 的 多 少 和 所 使 用 的 性 能 评价 标准 。 

本 章 讨论 两 种 基本 的 参数 估计 方法 一 一 一 种 是 贝 叶 斯 方法 ， 该 方法 将 参数 看 成 一 个 与 
观测 统计 相关 的 随机 量 ; 另 一 种 方法 把 参数 看 成 一 个 未 被 赋予 任何 概率 结构 的 未 知 量 。 在 
两 种 方法 中 ， 贝 叶 斯 方法 是 最 简单 易 懂 的 ， 因 此 在 4. 2 节 中 首先 予以 讨论 ， 非 随机 参数 的 
估计 将 会 在 本 章 其 余 章 节 中 进行 介绍 。 

需要 注意 的 是 ， 本 章 只 讨论 静态 参数 估计 问题 ， 即 待 估计 的 参数 不 随时 间 变 化 。 估 计 
随时 间 变 化 的 参数 (如 信和 号) 将 在 第 5 章 中 讨论 。 


4.2 贝 叶 斯 参数 估计 


在 本 章 中 ， 假 设 一 个 随机 观测 Y 的 分 布 族 模型 可 由 参数 0 标识 ， 其 中 0 值 组 成 的 集合 
为 4A。 比 如 ， 得 到 一 个 集合 {P,; OEA), HEF P, 表示 观测 空间 (T，9) 中 的 一 个 分 布 。 同 
时 ， 假 设 参数 集 A 为 m 维 空间 R 的 子 空 间 。 在 这 个 模型 中 ， 参 数 估计 问题 的 目标 就 是 找 
到 一 个 函数 8，F->A， 使 得 6(y) 是 在 观测 Y 一 y 的 基础 上 最 接近 9 的 真实 值 (例如 ，Y 一 Ps 
时 的 0 值 ) 。 

当然 ， 参 数 估计 问题 的 解 取决 于 衡量 估计 性 能 的 标准 ， 所 以 在 假设 检验 问题 中 ， 首 先 
要 做 的 是 分 配 参数 决策 的 代价 。 特 别 地 ， 假 设 有 一 个 函数 C: AX AR 使 得 CLa，0j 是 将 
0 估计 成 a 的 代价 ， 其 中 a 和 9 均 包含 在 人 A 中 。 一 旦 给 定 函 数 C 之 后 ， 对 于 每 个 OEA， 可 
以 把 Y 的 条 件 风 险 或 平均 代价 与 估计 值 6 联系 起 来 ， 即 

R,(0) = E,{CL6(Y) .6]} (4.2.1) 
如 果 把 参数 的 实际 值 9 看 成 是 随机 变量 9 的 某 次 实现 值 ， 那 么 可 以 定义 平均 风险 或 贝 叶 斯 
风险 为 
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r(6) A E{Re(O)} (4, 2. 2) 
合理 的 设计 目标 是 找到 一 个 估计 值 使 得 ~( 人 最 小 ， 对 应 的 估计 值 就 是 0 的 贝 叶 斯 估计 。 
HER, RO=E(CLAY), O]|/O=6}, HILAL al 
r(6) = E{CLO(Y) ,@]} = E{E({CLO(Y) 6] |Y}} (4. 2. 3) 
由 式 (4. 2.3) 可 以 看 出 ,9 的 贝 叶 斯 估计 (如 果 存 在 的 话 ) 可 以 通过 对 每 个 yE 了 计算 给 定 
Y 一 y 条 件 下 的 最 小 化 后 验 代价 得 到 
E{CL6(y) ,@]|Y = y} (4. 2. 4) 
这 和 贝 叶 斯 假设 检验 问题 的 求解 步骤 相同 ( 见 2. 5 节 ) 。 需 要 注意 的 是 : 如 果 假 设 9 在 给 定 
Y= y 时 具有 条 件 概率 密度 w(0|y)， 则 yE 的 贝 叶 斯 估计 6(Cy) 可 以 通过 求 以 下 积分 的 极 
小 值得 到 


| CEO) 1008 |y> cdo) (4. 2. B) 


下 面 通过 不 同 的 模型 来 说 明 贝 叶 斯 准则 的 具体 应 用 。 
模型 4.2. 1 最 小 均 方 误差 (MMSE) 估 计 
4% A=R H E{@’}<oohf, 一 个 应 用 广泛 的 代价 函数 为 
Cla,0] = (a— 0), (a,0) E R? (4. 2. 6) 
这 个 代价 函数 是 很 多 情况 下 的 首选 ， 因 为 它 以 估计 误差 6(y) 一 9 平方 的 形式 来 衡量 估计 器 
的 性 能 。 根 据 上 述 代 价 函 数 ， 对 应 的 贝 叶 斯 风险 为 E{[6(Y) 一 BJ?}， 也 称 为 均 方 误差 
(MSE). 。 此 时 ， 贝 叶 斯 估计 与 最 小 均 方 误差 (MMSE) 估 计 等 价 。 
在 本 例 中 ， 给 定 了 =y 的 后 验 代价 为 
E{(6(y) — OF |Y = y} ELW) P |Y = y}—2E{(0(WYO|Y = y} + E(@’ |Y = y} 
=[6(y)J — 2 ôy) E10| Y = y) + E(@’ |Y = y?) C4, 2.99 
RU. 2.7) 是 关于 6(y) 的 二 次 函数 ， 在 导数 等 于 零 处 取得 唯一 最 小 值 。 为 了 与 式 (4. 2.7) 48 
区 分 ， 用 pwss(y) 表 示 贝 叶 斯 估计 
Ouse (9) = E{@|Y = y?) (4, 2. 8) 
因此 ， 给 定 了 =y 时 对 @ 的 MMSE 估计 就 是 给 定 了 二 y 时 8 的 条 件 均值 。 这 是 一 个 非常 基 
本 的 结论 ， 在 随后 的 章节 中 将 用 到 此 结论 。 在 某 些 情况 下 ，MMSE 估计 也 称 为 条 件 均 值 
估计 (CME) 。 
模型 4. 2.2 最 小 绝对 值 误 差 估 计 (MMAE) 
对 于 A 二 R 的 情况 ， 绝 对 误差 是 男 一 个 可 以 应 用 的 代价 函数 ， 其 表达 式 为 
Cla,6]= |a—6|, (a,0) E€ R? (4, 2. 9) 
其 贝 叶 斯 风险 为 下 (16(7) 一 @|)， 称 为 绝对 均值 误差 ， 因 此 对 应 的 贝 叶 斯 估计 称 为 最 小 绝 
对 值 误差 (MMAE) 估 计 。 
为 了 推导 出 MMAE 估计 ， 需 要 利用 下 述 结 论 : 如 果 和 是 一 个 概率 分 布 为 PCXS0)=1 


的 随机 变量 ， 那 么 E{X) = F P(X > z)dx 。 该 结论 本 质 上 可 由 分 部 积分 得 到 [参考 Breiman 
(1968) ] 。 
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由 于 |6(y) 一 8| 宇 909， 运用 以 上 结论 可 以 得 到 


E{|6() — OlY = y} =|" PCa) -el>zly= y)dx =| P@>2+i»lY= y)dz 


+| Pe<-z+sol7= shade (4. 2. 10) 
式 (4. 2. 10) 右 边 第 一 个 积分 中 令 1 二 zx 十 6(y)， 第 二 个 积分 中 令 一 一 z 十 6(Cy) ， 则 有 


aC 


A id y») 
E{| 6(y) — Ol| Y = n=] ,PO>tlY = wet| P@<t|\Y=wd (4.2.11) 


RA. 2.11) PA E{|6(y) -O|Y=y} EAFA WA BR. WN Hd TE 
ARA. 2. 12) 可 以 看 出 ， 此 导数 是 一 个 关于 pb(y) 的 单调 非 减 函 数 ， 当 6(y) 一 一 co 时 趋 近 于 
一 1; 当 6(y) 一 十 co 时 趋 近 于 十 1。 因 此 E{|6()—-OlY=y) 4K FRESH RE BIA 
(或 最 小 值 点 集 ) 。 在 这 种 情况 下 ， 贝 叶 斯 估计 [ 记 为 psas(Cy)] 是 满足 下 列 条 件 的 任意 点 。 
P@<t|Y=y<P(@>t|Y=y), t> drs(y) 
ae t|Y = y) > P(O >t|Y = y), t< Bags(y) 
TER. WERC. 2. 13) 的 Bsps(y) 是 给 定 了 = 二 y 时 8 的 条 件 分 布 的 中 位 数 。 因 此 MMAE fii 
计 是 一 种 条 件 中 位 数 估计 (CCME)。 当 且 仅 当 给 定 Y=y 时 6@ 的 条 件 分 布 的 平均 数 和 中 位 数 
相等 时 ， 条 件 中 位 数 估计 才 和 MMAE 估计 一 致 。 当 然 ， 这 两 种 关于 @ 的 估计 哪 一 种 更 好 
需要 取决 于 所 采用 的 标准 。 
模型 4. 2.3 最 大 后 验 概率 (MAP) 估 计 
最 大 后 验 概 率 (MAP) 估 计 虽 然 不 完全 是 贝 叶 斯 估计 ， 但 是 它 适 合 在 贝 叶 斯 模式 下 使 用 。 
为 了 推导 这 种 方法 ， 假 设 A 二 R 情形 ， 考 虑 均匀 代价 函数 
0, la 一 9| 志 A 
C[La,0] -1 (4. 2. 14) 
1，|a 一 和 中 之 A 
其 中 A>0。 此 时 ， 对 于 估计 量 6， 给 定 Y=y 时 的 平均 后 验 代价 为 
E{C[h(y) @]|Y = y} =P(|6Gy) —@O|>AlY = y) 


E{| 6(y) —@|Y = y} = P@ < ôy) |Y = y) — P(O > Oy)Y = y) (4.2.12) 


(4. 2. 13) 


=1— P(|6(y) —O|<Al|Y = y) (4. 2. 15) 
为 了 得 到 式 (4.2.15) 的 最 小 值 ， 首 先 假设 9 是 一 个 离散 随机 变量 ， 值 取 自 有 限 集 合 
A={0o. s Om-i}> 4iAZ MH, (0—0 |>4, ALAS 
E{CL6(y) ,@]|/Y = y} =1— P(0 = Hp |Y = y) 
=]1—w(6(y)|y), ô% EA (4. 2. 16) 


其 中 wO WHE Y= y 时 @ 的 条 件 概率 密度 函数 。 可 以 从 式 (4. 2. 16) 中 看 出 ， 此 时 的 
贝 叶 斯 估计 是 由 在 yOT. OCA 中 使 得 w(@ly) 取 最 大 值 的 任意 9 值得 到 。 即 贝 叶 斯 估计 是 
4Y=y 时 有 最 大 后 验 概率 的 @ fH. © 





o 当然 ， 当 A 是 一 个 有 限 集 时 ， 这 种 情况 是 一 个 简单 的 M 元 假设 检验 问题 ， 因 为 4; 时 有 |0 一 入 | >A. BF 
以 式 (4. 2. 14) 中 的 代价 函数 退化 为 : #a#0, W Cla, 0]=1; #a=0, W CLa， 外 二 0。 在 这 种 情况 下 ， 贝 
叶 斯 估计 变 为 对 于 均匀 代价 的 M 元 贝 叶 斯 决策 规则 ( 见 第 2 章 习题 16) 。 
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假设 A 二 R H 8 是 一 个 连续 随机 变量 ,给 定 Y=y 时 的 条 件 概 率 密度 函数 为 ww(g|y)。 
在 这 种 情况 下 后 验 风 险 变 为 


ie BC y)+A 
E(CL6(y) .@]|Y = y} = i=] wit a ag (4. 2.17) 
A 


当 wO|y) ER GOA, OW 十 A) 取 关于 6(Cy) 的 最 大 值 时 ， 式 (4. 2.17) 有 最 小 值 。 
由 图 4. 2. 1 可 以 看 出 ， 如 果 w(9|y) 是 关于 9 的 平滑 函数 上 且 A 足够 小 ， 那 么 可 以 通过 选择 A(y) 
为 wl901y) 的 最 大 值 点 得 到 这 一 区 域 的 近 
似 最 大 化 ， 进 而 得 到 式 (4. 2. 17) 的 最 小 值 。 
换言之 ,对 于 是 够 小 的 A 和 连续 的 
w(0|y)， 有 下 面 的 表达 式 成 立 


HCW+A 
| „2 O|y)d0 a~ 2Aw (0|y) | of 


acy) 


1-E {Cl6G), @]| Y=y} 





60)-4 60)+4 


(4. 2. 18) 
在 A 中 选择 人 y) 作 为 6 代入 w(0|y) 得 到 
最 大 值 ， 从 而 使 等 式 右边 也 得 到 最 大 值 。 

在 以 上 几 个 情况 中 ， 均 匀 代 价 准则 使 得 估计 9 的 过 程 变 为 求解 后 验 ( 离 散 或 连续 ) 密 度 
wl(91y) 的 最 大 值 的 过 程 。 [类似 地 ， 当 9 在 无 穷 离 散 序列 中 取 值 时 ， 可 以 证 明 ， 
HRCA. 2.15) 通 过 选择 6(y) 得 到 条 件 密 度 函 数 ww(b|1y) 的 最 大 值 的 方法 来 找到 最 小 值 .] 这 种 
估计 称 为 最 大 后 验 概率 估计 (MAP)， 记 为 pusp。 虽 然 MAP 估计 只 是 A 足够 小 情况 下 以 均 
匀 代 价 函 数 为 准则 的 贝 叶 斯 估计 的 近似 ， 但 是 MAP 准则 在 估计 器 的 设计 中 运用 广泛 ， 其 
中 的 一 个 关键 因素 是 它 通常 比 MMSE, MMAE 或 其 他 估计 方法 更 容易 计算 。 

需要 注意 的 是 ， 密 度 取得 最 大 值 的 点 称 为 相应 概率 分 布 的 众 数 。 因 为 Burp 是 通过 其 条 
件 分 布 的 众 数 来 估计 @， 所 以 称 为 条 件 众 数 估 计 。 

从 模型 4. 2. 1 一 模型 4. 2. 3( 和 模型 4. 2. 5) 可 以 看 出 ， 给 定 条 件 的 贝 叶 斯 估计 取决 于 给 
定 观测 中 参数 的 条 件 分 布 。 特 别 地 ，MMSE 估计 、MMAE 估计 和 MAP 估计 分 别 为 分 布 
的 平均 值 、 中 位 数 和 众 数 。 就 假设 检验 而 言 ， 可 以 将 观测 理解 为 一 种 将 参数 的 先 验 分 布 转 
换 为 后 验 分 布 的 过 程 。 一 般 地 ， 贝 叶 斯 估计 具有 后 验 分 布 的 特征 。 

在 对 统计 过 程 进行 建 模 时 ， 一 般 首 先 从 给 定 9==9 时 Y 的 条 件 分 布 族 {Ps; OC ASF 
始 ， 对 于 贝 叶 斯 公式 也 会 有 一 个 关于 8 的 先 验 分 布 。 从 给 定 Y 时 8 的 先 验 和 条 件 分 布 中 
得 到 给 定 Y 时 关于 9 的 条 件 分 布 时 ， 只 需要 用 到 贝 叶 斯 公式 。 特 别 地 ， 假 设 对 于 每 一 个 
OA，P, 都 有 一 个 密度 po H @ 的 先 验 分 布 密度 函数 为 w(9)， 则 给 定 了 二 y 时 关于 @ 的 
条 件 分 布 的 概率 密度 为 


bq) 


K 4.2.1 MAP 估计 


dey) wl) 
Poly) wO) pda) 
A 


注意 ， 式 (4. 2. 19) 的 分 母 是 p(y)， 它 是 Y BAR ARE BER RES 。 
以 上 三 种 情况 的 贝 叶 斯 估计 均 可 以 从 式 (4. 2.19) 直 接 推出 。 不 过 ，MAP 估计 可 以 不 


wl(0|y) = (4. 2. 19) 





日 也 称 为 全 概率 。 一 一 译 者 注 
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用 计算 p(y)， 因 为 该 项 不 会 影响 6 的 最 大 值 。 也 就 是 说 ，Buanp(y) 是 通过 在 OCA 中 求解 
pa(y)w(0) 关 于 9 的 最 大 值 而 得 到 。 考 虑 到 对 数 函 数 为 单调 增 函 数 ， 对 于 90€E A，Bnp (yy) 同 
样 是 (logpe《(y) 十 logw(9)) 的 最 大 值 。 如 果 昌 是 一 个 给 定 Y=y 时 的 连续 随机 变量 ， 并 且 po 
和 也 足够 光滑 ， 则 取得 最 大 值 的 必要 条 件 是 


-9 
30 


式 (4. 2. 20) 称 为 MAP 方程 。 
下 面 的 两 个 例子 用 于 说 明 MMSE 估计 、MMAE 估计 和 MAP 估计 的 计算 。 
指数 分 布 的 参数 估计 
考虑 A 二 (0，co) 且 本 一 R， 给 定 O= 时 观测 数据 的 条 件 概 率 密 度 函 数 如 下 
= i yoo 
Pilly) = (4. 2. 21) 
yY» y< 0 
这 就 是 参数 为 0 的 指数 密度 。 指 数 密 度 可 以 对 许多 物理 现象 进行 建 模 ， 特 别 是 在 建 模 随机 
时 间 发 生 的 连续 事件 的 时 间 间 隔 方面 非常 有 效 ， 如 到 达 通 信 转 接站 的 信息 或 数据 包 、 到 达 
交叉 路 口 的 车 辆 、 从 相干 光源 中 发 射出 的 光子 或 逻辑 电路 中 出 现 的 器 件 故障 等 。 模 型 中 的 
参数 9 可 以 解释 为 这 些 事 件 发 生 的 频率 ， 因 此 可 以 把 此 处 的 估计 问题 看 成 从 这 些 事件 连续 
发 生 的 时 间 观 测 来 估计 它们 发 生 的 概率 。 
假设 @ 的 先 验 信息 也 服从 指数 分 布 ， 其 分 布 密度 为 
wl) = i wien (4. 2. 22) 
0, 0 一 0 
其 中 已 知 a>0. AKG. 2.19) 中 可 以 得 到 给 定 Y 了 二 y 时 8 的 后 验 分 布 为 


—(aty)0 


log ps (y) | opp ao S logw(o) | = ipt (4. DA 20) 


w(0|y) = es ela 
f ade “d? do 
其 中 020 H y 宇 09， 其 他 情况 时 w(901y) 二 0。 
MMSE 估计 就 是 式 (4. 2. 23) 的 均值 ， 由 下 式 给 出 
2 


Ouse Cy) = | awcaly a0 = Cat y)? | pere» dg ar (4, ds 24) 
o 0 aty 


TER, STEN a, OMT HEF y. SABI E XT HE ROR A i A DA A oh ae aR Be 
直观 合理 的 ， 大 的 时 间 间 隔 ( 较 大 的 >) 就 意味 着 低 的 发 生 频 率 ( 较 小 的 0) 。 因 为 MMSE 的 
估计 值 不 大 于 2/a， 所 以 在 一 定 程 度 上 估计 性 能 取决 于 a 值 。a 的 值 很 小 表明 O 的 分 布 很 
广泛 [ 即 w(9) 相 对 发 散 ]， 因 此 通过 观测 数据 得 到 的 估计 量 也 允许 @ 有 较 大 误差 。 与 之 相 
Ki. BERN a ERHO 接近 0 的 可 能 性 较 大 ， 而 对 应 的 估计 均 方 误差 较 小 。 


= (a + y)*Ge%"™ (4. 2. 23) 


在 这 种 情况 下 ，MSE 的 最 小 值 可 以 直接 计算 出 来 。 首 先 从 式 (4. 2. 3) 可 以 得 到 贝 叶 斯 


风险 是 后 验 代价 的 平均 值 ， 因 而 有 
MMSE =r(éyuse) = E{E{ COumse (Y) — @)? | ¥}} 
=E{E{(@— E{0| Y) |Y}} = E{var(@|Y)} (4. 2. 25) 
因此 ，MSE 的 最 小 值 是 给 定 Y 时 8 的 条 件 方差 的 平均 值 。 因 为 
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var(@|Y = y) = E{@ |Y = y} —E*{@|Y = y}, 





所 以 

@|Y = ce] —Tĝ 2 — 2 |7 B Harty) 4 a 2 
var(@l¥ = 9) = | F601y)d0— [ane VF = aH ere dg— A, = 
进而 有 


co 


MM = tm Lyx! = a Aa SS a 
SE Saal | dy | Gyre 3a" (4. 2. 26) 
这 里 运用 了 式 (4. 2. 23) 中 的 p(y) = | agd = a/a H y) 。 


MMAE 估计 ss (y) 是 wl91y) 的 中 位 数 。 由 于 给 定 了 =y HO 是 连续 的 ，Bhps (y) 可 以 
通过 求解 下 面 的 方程 得 到 


|, o 01949 =} (4. 2. 27) 
RARE. 2. 23) 并 进行 积分 后 ， 有 下 面 的 表达 式 成 立 
[1+ Cat y) Âa (Jas = E (4. 2. 28) 
进而 可 求 出 
Brest = oS (4. 2. 29) 


其 中 T, EROT, )e T =1/2 的 解 ， 近 似 解 为 Ts:1. 68。 比 较 式 (4. 2. 29) 和 式 (4. 2. 24) 
可 以 发 现 ，MMAE 和 MMSE 具有 相似 的 估计 性 能 ， 这 些 差异 仅仅 在 于 分 子 的 常数 不 同 。 
在 这 种 情况 下 ， 求 解 最 小 贝 叶 斯 风险 可 以 类 似 地 用 计算 MMSE 估计 最 小 值 的 方法 ， 具 体 
计算 过 程 作为 章 后 练习 。 

在 这 种 情况 下 ，@ 的 MAP 估计 也 可 以 很 容易 地 计算 出 来 。 注 意 


2 [loga w) + logw(6)] = 2 (logo — ay + loge — a9) = 601— la +y) 
并 且 
2 [logt (y) + logw(0)] =— 0< 0 
可 以 看 出 w(0|y) 有 唯一 的 最 大 值 ， 取 得 最 大 值 的 点 为 
Buap (y) = (4. 2. 30) 

显然 ， 再 次 得 到 一 个 与 MMSE 仅 相 差 一 个 尺度 系数 的 估计 结果 。 < 

在 例 4. 2. 1 中 ,根据 三 个 不 同 的 估计 准则 得 到 了 三 个 不 同 的 关于 @ 的 估计 量 。 为 了 决 
定 使 用 哪 种 估计 器 ， 必 须 结 合 特 定 应 用 环境 ， 在 三 个 相应 的 代价 函数 中 确定 哪 一 个 对 应 用 
所 涉及 的 估计 误差 的 算法 更 合适 。 在 很 多 应 用 问题 中 ， 因 为 这 三 种 估计 是 一 致 的 ， 所 以 一 
般 不 需 选 择 。 下 面 就 是 此 种 情况 的 一 个 例子 。 

信号 幅度 的 估计 


考虑 如 下 情况 : TR, A=R, 并且 
Y, = Ne. +O, k= 1,.…,n (4. 2. 31) 
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其 中 N~N O, 5), 5 已 知 ， O~N CN， Ys N ALO 是 相互 独立 的 。 事实 上 ， 该 问题 与 加 
性 噪声 下 估计 确 知 信号 的 未 知 幅 度 问 题 相 对 应 。 
给 定 O=0, BEY~NOs, D). Alt, 的 后 验 密度 为 


—(1/2)(y-68) TE 1 (ys) 1 te- sav? 


1 
(2x)? E s ig 





w(6ly) == 
—(1/2)(y-68) TH 1(y-0s) 1 (ep)? /2? dg 


1 
| opr Jiro 
=K(yexp{— Fe +1/) +0(s'Ey + 4) (4. 2. 32) 


正如 在 第 3 章 中 定义 的 4 二 sT 1s —H, APH K(y) 是 一 个 依赖 于 y,， 但 与 9 无 关 的 函 
数 。 注 意 ， 式 (4.2. 32) 中 的 wl9|y) 是 9 二 次 项 的 指数 函数 ， 因 此 它 必 然 服 从 高 斯 分 布 。 
如 果 w(91ly) 服 从 NCm，gq:)， 可 以 得 到 
1 = Zipp 2 e 
(0 ) = =m)" /29 — 
et ae Jra 
将 式 (4. 2. 32) 和 式 (4. 2. 33) HER, ALAA Y=y. O ~N m, PREF., A 


= 


—m? /2 


oF /29 tom/g (4. 2. 33) 





并 且 
m = (a? +1/v) TE y+ y/o) 
此 时 K(y) 的 值 为 e™/** y 2ng. 
因为 高 斯 分 布 的 第 一 个 参数 是 其 均值 ， 所 以 立即 能 得 到 @ 的 条 件 均 值 估计 为 


分 _ 6S ytpy/v _ wa 6) +u 
Ouse (Y) rie od +1 (4. 2. 34) 
其 中 人 (y) Ast 'y/d’, Web, HF var(O|Y)=(a’? +1/v’) ! 不 依赖 于 Y， 因 而 最 小 均 方 


误差 为 





ot eee ees. cee 
d FI vd’ +1 
同时 ， 由 于 高 斯 分 布 关于 其 均值 对 称 且 在 均值 处 达到 最 大 值 ， 条 件 中 位 数 和 条 件 众 数 都 与 
条 件 平均 数 相 等 ， 因 此 有 如 下 关系 : Bass Omar =Omose o 
本 例 能 充分 体现 贝 叶 斯 估计 的 一 些 特性 。 注 意 ，v 决定 了 关于 O 的 先 验 知识 的 准确 
RE, BD? 越 小 ， 在 缺乏 观测 的 情况 下 所 了 解 的 9 越 准确 。 另 一 方面 ， 从 第 3 章 高 斯 噪声 中 
相干 信和 号 检测 的 有 关 论 述 来 看 ，d? 是 一 种 量度 ， 它 可 以 衡量 s 与 服从 NC(0， 允 ) 分 布 的 品 
声 的 分 离 程度 。 换 言 之 ， 就 携带 信息 的 信号 而 言 ，d?* 是 观测 精确 度 的 量度 一 一 在 这 个 意 
Mk, 大 的 P 值 与 高 质量 的 观测 相对 应 ， 小 的 d 值 与 低 质 量 的 观测 相对 应 。 
理解 这 些 概念 之 后 ， 重 新 考虑 式 (4. 2. 34) 中 的 估计 值 hwvwss。 如 果 vd’ 与 其 他 量 相 比 
非常 小 ， 那 么 就 可 以 得 到 fnss(y)=zw。 这 发 生 在 先 验 知识 与 观测 相 比 非常 精确 的 时 候 ( 也 
就 是 说 ，v? 相对 小 于 1/d*)， 估 计 器 忽略 观测 而 选择 先 验 分 布 的 均值 作为 其 估计 值 。 此 
时 ， 最 小 均 方 误差 约 等 于 只 ， 即 先 验方 差 。 另 一 方面 ， 如 果 vd? HERA, BA 
ume (YO, (CD)， 即 估计 值 只 取决 于 观测 而 与 先 验 信息 无 关 。 该 估计 值 同 样 是 合理 的 ， 这 


MMSE = E{var(@|Y)} = (4. 2. 35) 
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是 因为 当 * 远大 于 1/d* 时 ， 相 比 于 先 验 信息 而 言 ， 最 好 还 是 相信 观测 的 结果 。 后 一 种 情 ` 
形 下 的 最 小 均 方 误差 约 等 于 1/d*。。 在 这 两 种 极端 情况 之 间 ， 最 优 估计 器 要 平衡 先 验 知识 
和 观测 结果 ， 相 应 的 最 小 均 方 误差 则 体现 了 这 种 平衡 。 
Rae EMMA, Bie Lo I As=1AC, 1, e, 1" 这 一 特殊 情况 。 在 这 种 情况 
下 的 观测 是 
Yi = Ni +O, k=1,.,n 


其 中 N, es N BANO, P), EH vd =n’ /ge， 样 本 均值 OC(y) 二 了 A AMA e 
k=1 


如 果 缺 乏 观 测 数据 (一 0)， 可 以 简单 地 把 © 估计 成 其 先 验 均值 x， 但 是 能 得 到 更 多 的 观测 
值 (增加 nw)， 样 本 均值 y 就 会 变 得 更 加 可 靠 ， 进而 可 对 其 赋予 更 大 的 权 值 。 在 n> oly, 
可 以 完全 忽略 先 验 均值 ， 而 采用 样本 均值 作为 最 终 估计 。 先 验 信息 和 样本 均值 的 加 权 比 例 
受到 比率 w/o 的 控制 (c 决定 了 每 一 次 观测 的 精确 度 )。 

前 面 的 讨论 将 注意 力 集中 在 了 估计 单个 实 参数 问题 上 。 然 而 ， 在 实践 过 程 中 遇 到 的 许 
多 问题 要 求 同 时 估计 多 个 参数 。 当 然 ， 贝 叶 斯 公式 在 估计 向 量 参数 时 同样 适用 ， 在 下 面 的 


讨论 中 将 研究 这 一 问题。 4 
模型 4. 2. 4 ”向 量 参数 估计 
现在 考虑 ASR 的 情形 。 为 了 按照 贝 叶 斯 步骤 设计 @ 的 估计 器 ， 必 须 指定 一 个 代价 


函数 C; R"XR">R。 在 一 些 情况 下 ， 可 使 用 如 下 形式 的 代价 函数 
ad= F Gli] (4. 2. 36) 


其 中 C; 是 与 估计 参数 的 第 i 个 分 量 有 关 的 代价 函数 。 确 定 代 价 函 数 后 ， 则 估计 值 6 的 条 件 
后 验 代价 按照 下 式 计算 


E{C[O(y),@]|Y = y} = DS) E{C,L6,(y) ,80,1|Y = y} (4. 2. 37) 
i=1 


式 (4.2.37) 本 质 上 是 求解 一 个 m 阶 估计 问题 ， 即 选择 6 (y) (06(y) 的 第 i 个 元 素 ) 使 
E{C,[6,(y), O:J|Y=s} fe. 
一 个 有 效 的 代价 函数 的 例子 就 是 误差 的 欧 氏 范 数 的 平方 ， 形 如 式 (4. 2. 36) 

C[a,0] = la—0|’ = Daa (4. 2. 38) 
根据 模型 4. 2. 1 的 结论 ， 与 该 代价 函数 对 应 的 第 i 个 元 素 的 贝 叶 斯 估计 为 E16: |Y=y}); 
即 贝 叶 斯 估计 为 

ôs) = E{@|Y = y? (4. 2. 39) 
即 给 定 Y=y 时 @ 的 条 件 均 值 。 
满足 式 (4. 2. 36) 的 代价 函数 的 另 一 个 例子 如 下 





O 注意 ， 在 没有 任何 观测 数据 的 情况 下 ， 最 小 均 方 误差 估计 值 是 yx， 且 最 小 均 方 误差 为 P, R vd? 较 小 的 
估计 结果 近似 对 应 。 这 再 一 次 表明 (正如 下 面 的 章节 将 会 看 到 的 ) 在 没有 任何 先 验 信息 情况 下 的 最 佳 估 计 是 
人 .Cy)， 其 精确 性 为 1/d? 。 因 此 ， 在 这 两 个 极端 情况 下 的 估计 结果 是 相当 合理 的 。 
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Cla,0] = >} |a,—6,| (4, 2. 40) 
i=1 


作为 衡量 a 和 9 之 间距 离 的 量度 ， 这 个 函数 是 除 上 a 一 8 以 外 的 另 一 种 选择 。 结 合 模 型 
4.2.2 可 以 看 出 ， 上 述 代价 函数 在 给 定 条 件 了 一 > 下 ， 得 到 的 第 i 个 元 素 的 贝 斯 信 计 是 
O: 的 条 件 中 位 数 。 

为 了 将 最 大 后 验 估计 的 概念 拓展 到 向 量 参数 情况 ， 思 考 式 (4. 2. 36) 给 出 的 代价 函数 ， 
其 中 CiLai,0;] 是 式 (4. 2. 14) 的 均匀 代价 函数 。 这 导致 了 在 给 定 条 件 Y=y 下 ， 第 i 个 元 素 
是 @, 的 条 件 众 数 的 估计 值 。 然 而 ， 这 种 可 分 解 的 代价 函数 不 是 均匀 代价 函数 对 向 量 情形 
的 最 有 意义 的 扩展 。 更 有 意义 的 形式 是 


Cr[a,6] -| ii (4, 2.41) 


对 于 该 代价 函数 ， 有 
E{Cl6(y) ,.@]|Y = y} =1—P(|6,(Y) —@, |) <A,--, 16, (Y) — 0n |< ALY = y) 
(4, 2. 42) 
由 式 (4. 2. 42) ， 可 以 将 给 定 条 件 Y= 王 > 下 的 条 件 众 数 作为 @ 的 近似 最 优 估计 ， 条 件 众 数 不 
同 于 一 般 向 量 ， 其 第 i 个 元 素 是 在 Y==y 条 件 下 从 代价 中 分 解 得 到 的 条 件 众 数 8;。 在 Y==y 
条 件 下 选择 @ 的 条 件 众 数 的 估计 是 针对 向 量 参数 情形 的 MAP 估计。 注意 ， 由 
max |a;— 0, | 入 4 确定 的 区 域 是 一 个 以 6 为 中 心 ， 棱 长 为 24 的 m 维 正 方 体 。 可 以 通过 用 其 
他 形状 (例如 一 个 m 维 的 球体 ，la 一 9 二 A) 取代 这 个 正方 体 来 定义 类 似 的 代价 函数 。 然 
而 ， 最 大 后 验 概率 估计 近似 最 优 性 仍然 需要 合适 的 平稳 条 件 来 保证 。 
在 估计 向 量 参数 时 ， 另 一 个 更 有 用 的 代价 函数 是 均 方 误差 的 一 般 形式 。 特 别 地 ， 关 注 
如 下 形式 的 代价 函数 
Cla,0] = (a—0)'A(a— 0) (4. 2. 43) 
其 中 A 是 一 个 对 称 正定 和 矩阵 。 注 意 ， 这 个 代价 函数 允许 对 不 同 参数 的 误差 进行 联合 加 权 ， 
这 对 某 些 应 用 而 言 是 必需 的 ， 这 是 因为 对 于 @ 中 的 某 一 个 参数 ， 其 估计 的 精度 将 影响 到 其 
他 参数 所 需要 的 估计 精度 。 
根据 式 (4. 2. 43) 得 到 贝 叶 斯 估计 为 
E{(6(y) —O@)'A(O(y) —@) |Y = y) 
= [6(y) ]"A 6(y) — 2[6(y) TAE {O| Y = y} + E{@™AO|Y = y} (4.2.44) 
因为 式 (4. 2. 44) 是 关于 6(y) 的 二 次 函数 ， 所 以 它 在 关于 6(y) 的 梯度 趋 于 零 时 达到 最 小 值 ， 
因此 可 直接 得 出 


Vac» E(CLOCy) @]|Y = y} = 2A 6(y) — 2AE{O|Y = y} (4. 2. 45) 
所 以 ,根据 式 (4. 2.43)， 贝 叶 斯 估计 ps 满足 
2A ĝs (y) = 2AE{@O|Y = y} (4. 2. 46) 


将 式 (4. 2. OERA TARRAA (9 =E(O|Y=y). 
由 式 (4. 2. 43) 可 见 ， 二 次 代价 准则 得 到 的 条 件 均 值 向 量 等 效 为 贝 叶 斯 估计 ， 与 4 的 选 
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择 无 关 。 当 然 ， 贝 叶 斯 风险 的 取 值 依赖 于 4， 且 可 表示 为 (见习 题 10) 
r(@,) = tr{AE{cov(@| Y)}} (4. 2. 47) 

其 中 tr{。} 表 示 迹 算 子 (对 角 线 各 项 的 总 和 ) ，cov(@|Y) 是 Y=y 时 @ 的 条 件 协 方差 矩阵 。 
注意 ， 均 方 误差 范 数 是 式 (4.2.47) 在 A==I 时 的 一 个 特殊 情况 ， 所 以 xr (6,) 简 化 为 
E{cov(B@1Y)}) 的 迹 。 

联合 高 斯 观测 中 的 高 斯 向 量 估 计 

ZETSR', ASR” HW, YAO 分 别 是 以 wy 和 je 为 均值 向 量 、 协 方差 矩阵 为 
Ly 和 Zo。、 互 协 方差 矩阵 为 Dye AE{(Y 一 jy)(O@ 一 je)"} 的 联合 高 斯 分 布 。 即 假设 


Y Hy Zy Lye 
~N ， (4. 2. 48) 
0 He Eo Xo 
其 中 Ley =Zy6 。 


在 这 个 模型 中 ， 可 直接 得 到 给 定 Y 二 y 下 @ 的 条 件 分 布 同 样 服从 高 斯 分 布 ， 其 条 件 平 

均 数 应 (y) 以 及 条 件 协 方差 矩阵 多 由 下 式 给 出 
Cy) = po + LeyZy' Cy — py) 
ig = X — Lexv2y' Evo 

从 这 条 性 质 中 ， 可 以 得 到 所 有 在 模型 4. 2.4 中 讨论 过 的 最 优 估 计 。 特 别 地 ， 其 中 的 条 件 均 
值 估 计 与 式 (4. 2. 49) 中 的 上 应 (77 相等。 此外， 由 于 多 变量 高 斯 分 布 的 众 数 在 其 均值 处 取得 ， 
最 大 后 验 概率 同样 由 冰 (y) 给 出 。 与 此 同时 ， 因 为 给 定 条 件 Y= 二 y 下 @ 服从 高 斯 分 布 ， 意 味 
BO. 在 该 条 件 下 是 边缘 高 斯 分 布 ， 给 定 了 二 y NO, 的 临界 众 数 和 中 位 数 存 在 于 Z;(y) 中 ， 
即 应 (y) 的 第 i 个 元 素 。 综 上 所 述 ， 根 据 在 模型 4. 2. 4 中 的 讨论 , 朱 (y) 给 出 了 所 有 可 能 的 最 
优 估 计 。 注 意 ， 这 个 估计 与 y 成 线性 关系 (更 恰当 地 说 是 映射 )， 如 果 能 够 确定 Dy’. MBA 
就 可 以 很 容易 地 计算 出 该 最 优 估计 。 下 文中 将 会 对 这 个 问题 作 进一步 阐述 。 

通过 式 (4. 2. 47) 得 到 式 (4. 2. 43) 的 二 次 代价 函数 ， 最 小 贝 叶 斯 风险 同样 可 以 容易 地 计 
算出 来 。 特 别 地 ， 由 于 cov(@|Y=SHY AK. Alt E{cov(@|Y) } 一 立 ， 并 且 最 小 贝 叶 斯 
风险 变 为 


(4. 2. 49) 


r(6,) = tr{A È} = tr{ AXo} — tr{(ABorBy!' Dye) (4. 2. 50) 
注意 , 多 一 E{(@ 一 多 (7Y))(@ 一 Ga(Y))'}， 所 以 全 是 估计 误差 9 一 所 (Y) 的 协 方差 矩阵 。 
通用 高 斯 模型 的 一 个 特殊 情况 就 是 线性 观测 模型 
Y= HO+N Cá: 2.51) 
KP O~N (wy, By), N~NO, X), HE—-PHMEKN n Xm HH, OMN 是 相互 独立 的 。 
这 个 模型 出 现在 许多 实际 应 用 中 。 例 如 ， 在 例 4. 2. 2 的 模型 中 ， 和 希望 估计 信号 的 幅度 就 是 
这 种 形式 ， 其 中 m= 二 1， 五 二 s。 此 外 ， 如 果 把 9 ，…，@, 看 做 随机 信号 的 样本 ， 则 有 


Ye = D AiO) HN, k=1,.,n (4. 2. 52) 
j=l 


这 就 是 一 个 由 线性 滤波 后 的 信号 加 上 加 性 噪声 组 成 的 观测 序列 ， 例 如 ， 观 测量 可 由 信号 通 
过 有 限 带 宽 或 者 其 他 线性 失真 的 信道 得 到 。 在 此 情况 下 ， 对 @ 的 估计 就 等 价 为 通道 均衡 。 
该 模型 的 一 个 更 深入 的 应 用 将 在 第 5 章 Kalman-Bucy 滤波 器 的 相关 内 容 中 讨论 。 
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针对 这 个 模型 ,显然 在 给 定 ps ME 情况 下 , Y MO 是 联合 高 斯 密度 分 布 ，jy 二 Hypo， 
二 一 HEoH "十 号 ， Boy 一 Hm。 因 此 可 以 得 到 贝 叶 斯 估计 
Cy) = po + SoH" HEH +E)" (Cy — Hpo) (4. 2.53) 
其 误差 协 方差 矩阵 为 
六 一 马 一 马 HTCHZ,HT + £) HS, (4. 2. 54) 
注意 ， 式 (4. 2. 53) 的 计算 中 包含 了 一 个 nXn 矩阵 的 道 ， 其 复杂 度 大 约 是 到 (除非 这 个 矩阵 
有 茶 种 特殊 的 结构 )。 在 某 些 时 候 ， 可 以 通过 简单 的 矩阵 恒 等 运 算 来 降低 矩阵 求 逆 的 计算 
复杂 度 
XH (HSH +2)? = (HEF'H+D') C HS: (4, 2. 55) 
WREE ECHKI ES DH m<n, WJC. 2.55) 中 右边 的 矩阵 相 比 于 左边 的 矩阵 要 
更 容易 计算 。 
在 第 5 章 中 ， 式 (4. 2. 53) 和 式 (4. 2. 54) 将 会 被 用 于 推导 Kalman-Bucy 滤波 器 。 根 据 线 
性 观测 的 统一 模型 ， 可 重 做 例 4. 2. 2。 在 这 种 情况 下 ， 有 m=1, H=s, wp, DE., 
将 这 些 量 代入 式 (4. 2. 53) 和 式 (4. 2. 54) ， 并 且 运 用 式 (4. 2. 55) ， 可 得 


i(y) = - - vd’ ĝ (y) + 
By) = wt (st E s+ 1/0?) STE Cy sy) = - FE TI a 
以 及 
2 
rp) = B= oF — TEs +07) st Es? = 


与 式 (4. 2. 53) 和 式 (4. 2. 53) 所 得 结果 相同 。 


4.3 非 随机 参数 估计 : 基本 理论 结构 


在 4.2 节 中 ,考虑 的 问题 是 估计 某 个 随机 参数 ， 并 用 它 来 表示 观测 空间 的 一 类 分 布 。 
与 之 对 应 的 问题 是 : 待 估计 的 参数 (用 来 表示 观测 统计 量 族 ) 不 是 随机 变量 ， 但 它 却 是 未 知 
的 。 特 别 地 ， 获 得 的 有 关 参 数 的 先 验 信息 不 足以 将 其 划 归 为 某 种 先 验 概率 分 布 ， 但 仍 希 望 
对 此 类 参数 估计 问题 进行 有 效 处 理 。 
假设 观测 为 YEP， 同 时 Y 的 分 布 由 参数 0 所 描述 的 分 布 族 CR，G) 中 的 某 个 分 布 确定 。 
同 前 文 一 样 ， 用 {Ps。; 6EA} 来 表示 分 布 函数 的 集合 ， 且 假设 参数 9 是 实数 。 对 于 9 的 实际 
值 ， 仅 知道 它 在 4 中 取 值 。 简 而 言 之 ， 所 要 解决 的 问题 是 : 给 定 一 个 观测 了 三 y，9 的 最 优 
估计 是 什么 ? 参考 4. 2 节 中 的 证 明 过 程 ， 答 案 可 能 是 寻找 一 个 估计 6(y) 使 得 某 种 平均 性 能 
评价 指标 最 小 。 本 章 后 续 内 容 将 只 考虑 将 平方 误差 作为 代价 函数 ， 与 之 相关 的 结论 可 直接 
推广 到 其 他 形式 的 代价 函数 。 在 缺乏 A 的 先 验 信息 情况 下 ， 平 均 代价 只 能 通过 计算 给 定 9 
下 YY 的 分 布 来 确定 ， 即 只 能 使 用 条 件 风 险 函 数 R OAE AY), OEA 

与 第 2 章 的 情况 一 致 ， 不 能 期 望 对 于 所 有 OCA 都 让 R,(b) 最 小 化 。 用 一 个 简单 的 例子 
来 说 明 这 一 问题 : 如 果 将 平方 误差 作为 代价 ， 对 于 任何 9( 比 如 9。)， 如 果 对 于 所 有 的 yer 
都 选择 0. 作为 估计 子 6(y)， 条 件 均 方 误差 可 以 为 零 ; 但 是 当 % 不 在 9 的 实际 值 附近 时 ， 
前 述 估计 的 性 能 将 会 很 差 。 显 然 ， 条 件 均 方 误差 并 非 衡量 非 随 机 参数 估计 子 性 能 的 合适 标 
准 ， 除 非 限制 估计 器 是 合理 的 [比如 ， 将 估计 y) 志 0。 排除 在 外 ]。 
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对 于 9 估计 值 的 一 个 合理 约束 条 件 是 它 的 期 望 等 于 实际 参数 ， 即 
E60(Y)} =0, OEA (4. 3. 1) 
上 述 佑 计 子 称 为 无 偏 估计 。 在 这 个 限制 之 下 ， 条 件 均 方 误差 变 为 估计 子 在 Ps 下 的 方差 ，- 
并 且 对 于 每 一 个 EA， 如 果 无 偏 估计 能 最 小 化 均 方 误差 ， 则 称 之 为 最 小 方差 无 偏 估计 子 
(MVUE) 。 

本 节 通 过 讨论 非 随机 参数 估计 问题 来 描述 MVUE。 首 先 ， 需 要 从 充分 性 的 概念 开始 ， 
它 的 定义 如 下 (除非 另行 提 及 ， 假 设 人 4 是 一 般 性 的 集合 ， 即 不 要 求 一 定 是 R 的 子 集 ) 。 

定义 4.3.1 充分 性 

假设 A 是 任意 集合 ，D 是 关于 A 的 事件 类 。 对 于 Y~P, 和 09EA， 如 果 T(Y) 的 分 布 与 
9 无 关 ， 则 称 T，(T，G) 一 (A，DD) 是 {P; 9gEA) 的 充分 统计 量 。( 如 果 {Pi; PCA LAR 
定 ， 则 可 简单 地 称 工 关 于 0 是 充分 的 。) 

注意 ,9 仅仅 通过 分 布 P。 来 影响 观测 值 ， 所 以 只 能 通过 观测 Y 的 统计 特性 来 估计 0。 
一 旦 T(Y) 能 够 去 除 观测 Y 对 于 9 的 依赖 ， 就 能 够 推断 出 T(Y) 包 含 了 Y 中 所 有 用 于 估计 9 
的 有 用 信息 一 一 这 也 是 “充分 性 ”的 本 质 。 

需要 注意 的 是 : 任何 同 观 测 值 一 一 对 应 的 映射 都 是 9 的 平凡 充分 统计 量 ， 即 对 于 任意 
给 定 的 估计 模型 都 存在 多 个 充分 统计 量 。 然 而 ， 和 希望 找到 一 个 能 够 尽 可 能 减少 观测 样本 的 
充分 统计 量 。 为 此 ， 需 要 定义 最 小 充分 性 ， 具 体 如 下 。 

定义 4.3.2 最 小 充分 性 

如 果 函 数 下 是 任何 其 他 关于 {Po; 9EA)} 的 充分 统计 量 的 函数 ， 那 么 称 在 (和 ，9) 上 的 
hk T TP 09EA) 是 最 小 充分 的 。 

换 句 话说 ， 最 小 充分 统计 量 在 不 损失 关于 9 的 信息 的 情况 下 最 大 限度 地 减 小 了 观测 
E. BÆ, 很 多 估计 问题 不 存在 最 小 充分 统计 量 ,， 并且 即使 存在 最 小 统计 量 ， 也 很 难 
求解 。 

不 过 ， 基 于 下 面 的 结论 ， 通 常 可 以 很 容易 地 找到 可 用 的 (尽管 不 一 定 是 最 小 的 ) 充 分 统 
计量 。 

命题 4. 3. 1 因子 分 解 定理 

假设 与 {Ps; 9EA} 相 对 应 的 密度 族 为 {po; 9EA}， 统 计量 本 是 9 的 充分 统计 量 的 充 要 
条 件 是 存在 函数 ge 和 有 hh 使 得 下 式 对 于 所 有 VET ROCA 成 立 

baly) = goL Ty) Jh(ly) (4. 3. 2) 

证 明 CW PA ER PRE. AA PSEA te BE 50 
明 本 命题 的 基本 思想 ， 并 且 不 需要 引入 证 明 一 般 性 结果 时 所 需要 的 技巧 。 对 于 一 般 情况 下 
的 证 明 过 程 ， 读 者 可 以 在 Lehmann(1986) 的 书 中 查阅 到 相关 内 容 。 

假设 械 是 离散 的 ， 并 且 {ps; LEANA T HERA. 3.2)。 对 于 Y~P，,，， 如 果 给 定 
TY) =t, 用 po(y12) 来 表示 给 定 T(Y)==t MY~P, 时 的 概率 密度 ， 则 根据 贝 叶 斯 公式 有 


_ PATO) =2|¥ = 9 PY = y) 
PTY) =D 


HATO = 上 MTO At 时 ，Ps{T(Y)==t|Y==y} 分 别 等 于 1 和 0， 并 且 由 于 PY =y) 
pey), ARC. 3.3) 可 化 简 为 





piy lt) A PAY = y|T(Y) =t} (4. 3. 3) 
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Poy) /PAT(Y) =t), Thy) =t 
poy |t) = (4. 3. 4) 
利用 PTY) =)= >) poly) 并 结合 式 (4. 3.2) 后 ， 可 以 得 到 
{yl TCY) =¢} 
PTW =)= 2) wlTO Aly) = gt) DS) ho) 
} 


tylT =e {yl TCy) =e} 


和 pp (W=g LT Aly) =g hly). ETERA. 3.4) 写 成 
hy)/ >} hO), Try) =t 
poly|t) = 


yl TCy) =t} 
0, T(y) Æt 

显然 ， 上 式 不 依赖 于 0， 即 工 是 (Po; OA4) 的 充分 统计 量 。 换 言 之 ， 如 果 式 (4. 3. 2) 成 立 ， 
W 工 是 充分 统计 量 。 

为 了 证 明 式 (4. 3. DE TARAS RN DEAE, BIT EO 的 任意 充分 统计 量 。 
由 式 (4. 3. 4) 可 以 得 到 

poly) = poLy|T(y) PL TOY) = TOy)] (4. 3. 5) 

一 方面 ， 工 是 0 的 充分 统计 量 ，poLy|T(y)] 仅 依赖 于 y; 男 一 方面 ，PoLT(Y) 二 TC(y)] 仪 
是 TC(y) 和 9 的 函数 。 在 定义 h(y)ApoLy|TCy)j] 和 goLT(y)]APoLT(Y) 二 TC(y)] 后 ,可 以 
看 出 ， 式 (4. 3. DRE. 3.2) 中 的 因子 分 解 形式 。 至 此 ， 完 成 了 械 是 离散 情况 下 的 证 明 
过 程 。 

为 了 阐明 命题 4. 3.1， 考 虑 下 面 简 单 的 例子 。 

假设 检验 的 充分 统计 量 

考虑 假设 检验 问题 A 二 {0，1}， 其 概率 密度 分 别 为 po 和 pi, HER 


Poly), 0 一 0 
Poly) = pity) 














Ba Cy P? 0=1 


AL, PODS gLTO hoa, HP, h(W=p(y), TW=p16y)/p (MALY), H 
1, @=0 
£9 (t) = 人 = 
根据 因子 分 解 定 理 易 知 : 似 然 比 工 (y) 是 二 项 假设 检验 问题 的 充分 统计 量 。 似 然 比 是 非常 
实用 的 充分 统计 量 ， 因 为 它 不 但 具有 低 维 ( 只 有 一 维 ) 特 性 ， 而 且 与 也 的 性 质 无 关 。 显 然 ， 
在 第 2 章 中 所 有 有 关 人 三 (0，1} 的 仅 依赖 于 观测 数据 y 的 最 优 检 验 均 以 最 大 似 然 比 工 (y) 
作为 充分 统计 量 。 < 
下 面 的 Rao-Blackwell 定理 描述 了 充分 统计 量 在 求解 实 参 数 的 无 偏 估计 子 时 的 作用 。 
XE, MW A 是 任意 的 ， 但 是 假设 以 0 为 变量 的 函数 g 是 实 函数 。 
命题 4.3.2 Rao-Blackwell 定理 
假设 (vy) 是 g(0) 的 无 偏 估计 ， 并 且 工 是 0 的 充分 统计 量 。 定 义 人 [TC(y)] 为 
ZETO] = EEO | TC) = Ty} 
那么 ELT(Cy)] 也 是 g(0) 的 无 偏 估计 。 进 一 步 有 
var (BL[T(Y)]) < var, (8(Y)) 
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当 且 仅 当 Po(8(y) 二 BE[T(Y)])==1 时 等 号 成 立 。 

证 明 首先 ， 利 用 工 是 充分 统计 量 的 性 质 ( 即 TC(y) 的 分 布 不 依赖 于 9)， 的 期 望 不 依 
赖 于 参数 9。 为 了 说 明 8 是 无 偏 的 ， 利 用 

E,{ZLT(Y) ]} = E,{E,(£(Y) | TCy)}} = ELEY) = g(0) 

其 中 使 用 了 全 期 望 公式 E{E{X|Z}} 二 E{X} 来 得 到 第 二 个 等 式 ， 并 利用 8 的 无 偏 性 得 到 第 
三 个 等 式 。 

为 了 证 明 var ZLTO) D<var (£Y), KEA 

varo (gLT(Y)]) = E,{LELTCY) ]]’} — g ® 
H 
var (£ (Y)) = E LEO P?) — g 0) 
因此 仅 需 要 证 明 ELCT] PELET), We 
E,{LELT(y) 1}? } =E LEEY) ITY) F} 
< EE LEY P| TY))) = E {fF} 

其 中 ， 利 用 Jensen PEATEELE TO PE (LEMP |TY), 最 后 一 个 等 号 由 全 期 
望 公 式 得 到 。Jensen 不 等 式 取 等 号 的 条 件 是 当 且 仅 当 PLEO =E, (eC) | TH} | TH) ]=1. 
又 因为 8[T(y)]AE(8(Y)| TCY)}， 即 Jensen 不 等 式 取 等 号 的 条 件 与 P,LeCY)=ZLTOY) ]J=1 
等 价 。 至 此 ， 完 成 了 命题 4. 3. 2 的 证 明 。 口 

从 Rao-Blackwell 定理 可 以 得 出 : 利用 充分 统计 量 工 ， 可 以 通过 对 其 施加 条 件 T(Y) 来 
改善 任何 无 偏 估 计 子 ， 只 要 这 些 估 计 子 不 是 工 的 函数 。 进 一 步 地 ， 根 据 Rao-Blackwell 定 
理 ， 如 果 工 对 于 0 是 充分 的 ， 并 且 g(9) 以 工 为 变量 的 无 偏 估计 子 仅 有 一 个 ， 那 么 该 估计 
子 就 是 g(0) 的 MVUE。 为 了 证 明 这 一 点 , 假设 g* LT(y)] 是 T(y) 的 唯一 满足 条 件 
Eslg"LT(y)]}) 二 g(0) 的 函数 。 令 8(y) 是 8(0) 的 任意 无 偏 估计 子 。 那 么 ， 基 于 Rao- 
Blackwell E, ZETO] AE LEO ITO) =T) Æ g(0) 的 无 偏 估计 子 ， 并 且 它 是 
T(y) 的 函数 。 因 此 ， 基 于 g* 的 唯一 性 ， 一定 有 g* =F. Rao-Blackwell 定理 同时 也 阐述 
了 vars (SLT(Y)]) 过 vars (8(Y))。 由 于 8 是 任意 的 ， 得 出 vare [TO <var (8(Y)) 对 
于 g(9) 的 任何 无 偏 估计 子 都 成 立 ， 即 g* LTCy) dt g(0) 的 MVUE。 

综合 上 述 分 析 ， 如 果 能 够 找到 某 个 具有 唯一 无 偏 估计 子 g LT(y)j] 的 充分 统计 量 T， 
那么 就 可 以 通过 它 来 构造 g(0) 的 MVUE。 为 了 找到 这 样 的 统计 量 ,， 需 要 引进 完备 性 的 

定义 4.3.3 完备 性 

族 {P,; 9EA}) 具 有 完备 性 的 条 件 是 ，Es{f(Y)}) 二 0 对 于 所 有 9EA 成 立 ， 等 价 于 
PoLf(Y) 二 0] 二 1 对 于 所 有 0EA RZ. 

这 种 完备 性 的 概念 同 R 中 向 量 集合 的 完备 性 的 概念 十 分 相似 。 为 了 说 明 这 点 ， 考 虑 


(4. 3. 6) 


是 有 限 集 合 {X ，…，7,) 的 情况 。 在 此 种 情况 下 , 厂 上 的 任意 函数 了 可 以 写成 
E f(Y)} = f" po 
其 中 f=Lf(7), Fh) s s f(r) J's 并 且 Pol p0), Polo) > Sy ACAR R 假设 


pol ¥)>0 对 于 所 有 9EA Mi=l, «+, 7 都 成 立 ，{(P,; 9E A} 的 完备 性 定义 为 f p= 对 
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于 所 有 be A 成 立 ， 这 意味 着 是 一 个 全 零 的 n 维 向 量 。 即 如 果 0 是 唯一 的 垂直 于 
(pos 90€E A} 中 所 有 元 素 的 向 量 ， 则 {P,; 90€ A}) 是 完备 的 。 BR, KER 上 向 量 集合 
{pos OC A} 具 有 完备 性 的 一 般 性 定义 (向 量 空间 R 的 完备 集合 张 成 空间 R")。 类 似 的 结论 
对 于 更 加 一 般 的 观测 空间 也 成 立 。 

为 了 说 明 完 备 性 的 概念 ， 考 虑 例 4. 3. 2。 

二 项 分 布 的 完备 性 


假设 FT 王 (0， 1, wees ny, A A=(0, 1), 并 且 
by) = pr y =Q, sn, 0<0<1 
MF EMER RR SA 
EAr) = 2 Tho” (1 一 0 一 = (1—0)" ye x? 
其 中 
a, BTL? ?一 0 
且 


zr A0/(1—0) 
对 于 所 有 OCA, En f(Y)}=0 成 立 等 价 于 


Sja,’ = 0, > 0 (4.3.7) 


因为 函数 2 ac? 是 阶 多 项 式 ， 且 除非 所 有 系数 都 为 零 ， 否 则 只 有 当 fO)=0, y=0, =, n 


时 式 (4. 3.7) 才 成 立 ， 进 而 {pp; 90E A) 是 完备 的 。 事 实 上 ， 对 于 任意 的 拥有 至 少 nti HESS 
数 的 A， 上述 完 备 性 都 成 立 。 < 

完备 性 的 概念 和 充分 性 的 概念 联系 紧密 。 为 了 说 明 这 点 ， 假 设 工 对 整个 分 布 族 
(Pa; 0EA4A) 是 充分 的 ， 同 时 为 了 简便 ， 假 设 E,{|Y|}<oxtT ira oc A 成立。 定义 函数 
LMA 

f(y) = y— EYI TY) = T(y)} 
因为 工 是 充分 的 ， 函 数 f 并 不 依赖 于 9， 所 以 对 于 所 有 OCA 有 下 面 的 表达 式 成 立 
E,{f(Y)} = E, {Y} — E,{EAY|TW)}} = EY} —E,{Y} = 0 

{P,; 9EA)} 的 完备 性 就 隐 含 了 Py[Y= 二 Es{Y|T(Y)}]==1 对 于 所 有 OCA 成 立 ， 实 际 上 ， 
y 王 已 (YITCZ)= 王 TOy))。 既 然 Es{Y|1T(Y)= 二 TC(y)} 是 Tl(y) 的 函数 ， 后 一 个 条 件 表 明了 y 
本 身 就 是 T(y) 的 函数 。 又 因为 T(y) 显 然 是 y 的 函数 ， 所 以 可 以 推断 出 T(y) 一 定 是 关于 
y 的 一 一 映射 的 函数 ， 即 工 是 一 个 平凡 的 充分 统计 量 。 综 上 可 得 : 如 果 {Po; 0EA}) 是 完备 
的 ， 那 么 不 存在 0 的 非 平凡 充分 统计 量 ， 即 观测 量 Y 不 能 在 不 损失 9 信息 的 同时 降低 数 
据 量 。 

完备 性 在 刻画 MVUE 的 相关 特性 方面 是 一 个 非常 有 用 的 概念 。 为 了 阐明 这 一 点 ， 假 
设 工 对 于 0 是 充分 的 ， 并 且 用 Q 表示 当 Y 一 P, 时 T(Y) 的 分 布 。 如 果 {Q; 0EA} 是 完备 
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的 ， 那 么 工 就 被 称 为 完备 充分 统计 量 S。 假 设 了 是 完备 的 ， 记 [TC(y)] 和 ec’ [TWIN 
T(y) 的 任意 函数 且 是 g(9) 的 无 偏 估 计 子 ， 有 

EA(g8LT(Y)]— g* (TY) 一 已 (ELTCY)]) 一 B(g [TOY ]} = g(0)—g(0) =0 
上 式 对 于 所 有 OCA 成 立 。 因 此， 基于 T 的 完备 性 ， 有 P,CELTCY) ]=¢* [TYD =1 对 
于 所 有 OCA 成 立 ， 即 5LTGY)] 和 g "LTGY)] 是 同一 个 估计 子 。 既 然 8 和 8g 是 任意 选取 的 ， 
那么 可 以 得 出 结论 : 以 完备 充分 统计 量 作为 函数 的 任何 无 偏 估计 子 是 唯一 的 ， 并 且 它 就 是 
MVUE。 至此， 可 以 给 出 求解 MVUE WAR: 

1) 求解 {P，; 90EA}) 的 完备 充分 统计 量 T; 

2) 求解 g(0) 的 任意 无 偏 估计 子 &(y); 

3) ZET] aA ELEVI TY) =T) RE (OH MVUE, 
上 述 计算 步 又 中 ， 第 一 步 看 起 来 似乎 最 困难 ， 因 为 第 二 步 通常 十 分 简单 ， 第 三 步 可 以 通过 
概率 积分 直接 求 得 。 然 而 ， 在 很 多 实际 估计 模型 中 ， 第 一 步 却 十 分 简单 。 为 了 进一步 说 明 
这 一 点 ， 首 先 给 出 指数 族 的 定义 。 

定义 4.3.4 指数 族 


一 类 分 布 {Po; 0EA}) 被 称 为 指数 族 的 条 件 是 ， 如 果 存 在 实 值 函数 (or Q> ==. Qos 
Tis s Tn Foh, 1 Po 的 密度 表达 式 对 所 有 0EA 和 y ET 都 成 立 
poy) = C(O)exp{ >) QO TCy) acy) (4. 3. 8) 
t=1 


很 多 实际 分 布 都 能 写成 指数 族 的 形式 ， 其 中 包括 高 斯 分 布 、 泊 松 分 布 、 拉 普 拉 斯 分 
布 、 二 项 分 布 、 几 何 分 布 和 这 些 分 布 的 某 些 多 分 量 形式 。 指 数 族 在 最 小 方差 无 偏 估 计 中 占 
有 重要 地 位 ， 这 要 归功 于 下 面 将 要 证 明 的 定理 。 

命题 4. 3.3 ”指数 族 完备 定理 

假设 T=R", ACR", F#HA—+ P 都 有 密度 函数 po 为 


Poly) = CCO)exp{ X aT) h) (4. 3.9) 
i=1 


HPC. Qs os Qus Ths os Tn hA RAAS, WATST O), s Tay] 
{P53 0EA)} 的 完备 充分 统计 量 的 条 件 是 人 包括 7a 维 矩形 区 域 。 
证 明 对 于 上 述 命题 的 完整 证 明 可 以 参见 Lehman(1986) 。 具 体 证 明 步 又 可 概括 如 下 。 
首先 ， 由 因子 分 解 定理 可 知 工 对 于 0 是 充分 的 (命题 4. 3. 1) ， 因 此 仅 需 要 证 明 T 的 完 
备 性 。Y 服从 式 (4. 3. 9) 的 分 布 形 式 ， 直 接 得 到 TY) 的 密度 (在 R” 上) 为 


g(t) = CGO)exp{ >) At, hrt) (4, 3. 10) 
其 中 hr 是 1 的 实 值 函 数 。 假 设 f 是 R” 上 的 实 值 函 数 且 满 足 Eo{fLT(Y)]) 二 0， 有 
Es{fLT(Y)J} = CO | SAD exp] ybu， shy (t)p(de) (4. 3. 11) 





o 回顾 上 面 的 讨论 ， 能 够 发 现 ， 在 不 损失 9 信息 的 情况 下 ， 对 于 观测 维度 的 降低 不 能 超过 T(Y) 。 实 际 上 ， 工 
必须 是 {Po; 9€ A}) 的 极 小 充分 统计 量 。 这 是 因为 ,对 于 任何 充分 统计 量 T， 由 于 完备 性 ， 
一 定 有 T=Es{T| T'}。 因 此 , THT WRK. 

加 “注意 通过 改变 参数 ， 式 (4. 3. 8) 可 以 写 为 式 (4. 3. 9) 的 形式 。 
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假设 A 包括 了 m 维和 矩形 区 域 = 二 {9|aj 志 9, 二，as 志 0; 志 b;, ，…，a, 志 9, 二 b,。)}。 仅 通 
过 参数 的 简单 变换 总 是 能 使 矩形 区 域 变 为 =={90| 一 1<0.<<1, -—1<@,<1, +, -1< 
On K1} HRA. 3. 11) 中 的 0 替换 为 (9 十 i，! 王 1，…，m) 后 ， 原 式 转化 为 复数 变量 函 
数 。 可 以 证 明 该 函数 在 区 域 C 王 1 十 it | —1<6,<1, —co<u<co, 1=1, =, m} ESF 
析 ， 那 么 对 于 了 中 所 有 实 元 素 都 等 于 零 的 情况 ， 表 明 它 在 C 确定 的 条 带 中 取 值 都 为 零 。 
特别 地 ， 在 区 域 C 一 (b+iw |0,=0, ~u <o, J=1, =, m) PU RARE, thee 
下 式 对 于 所 有 ER” 都 成 立 。 

CO) fpexpfi uti \ar(t)p(dt) = 0 (4. 3. 12) 

注意 ， 函 数 (4. 3. 12) 的 左边 是 多 维 仁 里 叶 变 换 ， 对 所 有 9€ A 一致 为 零 ， 表明 被 变换 的 函 
数 对 于 所 有 0EA 为 零 ， 或 者 等 价 地 说 Ps,{f(Y) 二 0}= 二 1 对 于 所 有 OCA Rr, HRA TE 
完备 的 。 至 此 ， 原 命题 的 完备 性 证 明 完毕 。 口 

为 进一步 阐明 命题 4. 3. 3， 考 虑 如 下 例子 。 

信号 幅度 的 最 小 方差 无 偏 估计 子 

考虑 如 下 模型 

Yi = Na tps k=l, e,n 

其 中 Ni，…，N, ÆRANMN CO, 0°) WA REEE, s=’ e 5,7 是 已 知 信 
号 ， 幅 度 参 数 为 x。 现在 假设 o 已 知 并 且 希 望 估计 幅度 参数 w。Y 的 概率 密度 如 下 式 


goara- rA Coe — psa)? | = CG)exp{OTi(y Jh) (4.3.13) 


其 中 定义 





= y/o? = ¥% “Ch os —— 2 fies i 
0 = y/o ,Ti(y) = Dusk» CH) Ce 2 Dus 


h(y) = exp(— a3 24} 
假设 x 是 任意 的 实数 ， 参 数 集合 是 A 二 {01 | 一 二 9. 二) 二 R。 —#HBRRRE— 
个 闭 区 间 ， 并 且 A 显然 包括 这 个 区 间 ， 所 以 由 命题 4. 3. 3 并 结合 式 (4. 3.13)， 能 得 出 
Ti(y) 是 91 的 完备 充分 统计 量 。 
此 外 ， 还 希望 能 够 估计 p= e(O=07°A. AW EN} =p, ERR s 天 0 后， 估计 
EQ = y/n Æ g(0) 的 无 偏 估计 子 。 又 因为 T 是 完备 的 ， 所 以 估计 是 MVUE， 有 
EB[Ti(y)] = EZ) |T: Y) = Ti(y)} (4. 3. 14) 
为 了 计算 式 (4. 3. 14)， 因 为 8(Y) 和 T VREY 的 线性 函数 ， 且 Y 服从 高 斯 分 布 ， 所 以 
8(Y) 和 TI(Y) 服 从 联合 高 斯 分 布 。 进 而 有 
E8 Y)) =p,Eyd( TY)) = np s 
vary (êY) } = /s? varol Ti Y) } = no? $ 


cov, {Z(Y).T,(Y)} = 0 
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其 中 定义 SA (1/n) >) st. WA 4. 2 节 中 的 结论 ， 可 以 将 式 (4. 3. 14) 的 条 件 均 值 写 成 如 下 
形式 
2LT,(y) ] =E{g(Y)} + cov; {g (Y) oly (Y)} x [var LT: (Y) JI7LT, O») = E Ti (Y)}] 


=p +o (ns? DET: O) — ms] = Ti) /n F = (Yaya) /nF (4. 3. 15) 
至 此 , 已 经 建立 了 信号 幅度 y 的 MVUE。 该 估计 子 的 方差 是 
var (ELT: Y] = o /ns? (4.3.16) 
现在 假设 y Mo’ RRA, a 的 取 值 范围 是 R，o 的 取 值 范围 是 (0，oo)， 并且 希望 估计 这 
两 个 参数 。 从 式 (4.3.16) 中 可 以 看 出 oa 可 用 来 衡量 幅度 估计 的 精确 度 。 注 意 ， 在 式 
(4. 3. 13) 中 定义 的 hl(y) 是 的 函数 ， 所 以 如 果 oa 未知 ， 则 式 (4. 3. 13) 不 满足 指数 族 分 
布 。 然 而 ， 该 分 布 函数 可 改写 为 


1 15 
Cno yexp(— P22 Coe — psa)? |= CO dexp{A Ti (y) +O: T2Cy) acy) (4. 3.17) 
HEP a M T 同 式 (4. 3. 13) 中 一 样 。 如 果 定 义 


0=(0,0), 0 一 一 bi T2 Cy) = >) vi 
2o k=1 
和 


C(O) =(—4)" exo dy}, ho) =1 

WERC, PILER, o& >O}MMFA={((A, la ER, <0}, 显然 包含 和 矩形 区 域 。 
Auk, T=, Ti Kk ONCEEAATE. 

希望 估计 p= g DA—-O/26. 和 二 gz(0) 和 A 一 1/29; 。 因 为 式 (4. 3.15) 中 给 出 的 估计 
子 在 计算 过 程 中 不 需要 任何 有 关 o 的 先 验 知识 ， 它 是 无 偏 的 ， 且 是 Ti(y) 的 函数 (因此 也 
是 T(y) 的 函数 )。 故 即使 在 未知 情况 下 ， 它 也 是 py 的 MVUE，。 

KTR o 的 MVUE， 可 以 先 寻 找 o 的 无 偏 估 计 子 ， 然 后 对 它 施 加 条 件 TC(y)。 然 
而 ， 直 接 求解 一 个 以 T 为 变量 的 无 偏 函 数 作为 无 偏 估计 子 会 更 加 简单 。 特 别 地 ， 由 于 
T:Y) ~N nys, no’ $), E 

E,{T}(Y)} = var[T Y) ] + (EAT (Y)})? = no? FH 

类 似 地 ， 有 


E T:Y)} = SEE = Sie 4D = no t+ s 
k=1 k=1 
从 这 两 个 结果 中 得 出 [Ts(Y) 一 Ti(Y)/ns’] 的 均值 为 
Es{ TY)} — ET. OY) /ns} = (n— 1)0’ (4. 3. 18) 


A tt BL TCy) J=CT2 OTi o/a] a DDE e 的 一 个 无 偏 估计 ， 并 且 由 于 工 的 
完备 性 ， 可 知 它 是 MVUE。 可 以 将 8 写作 


BLT] = Yon hs) A (4. 3. 19) 
k=1 


其 中 就 是 式 (4. 3. 15) 中 建立 起 的 py 的 MVUE。 由 于 # 人 A yi 一 ss 是 第 & 个 采样 的 噪声 估 
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计 ， 所 以 2 通过 -二 D a)? 估计 噪声 的 方差 (与 二 阶 逢 对 应 )。 需 要 注意 的 是 ， 二 阶 甜 
的 一 个 更 自然 的 估计 子 是 二 了 (名 )* 。 不 过 ， 正 如 从 上 面 的 分 析 中 看 到 的 一 样 ， 估 计 子 


LS Gy! 是 有 偏 的 。 关 于 这 一 点 的 更 进一步 讨论 请 参见 4. 4 节 。 < 


以 上 所 描述 的 理论 为 寻找 最 小 方差 无 偏 估计 子 提供 了 一 条 途径 。 然 而 ， 很 多 模型 并 没 
有 给 出 如 命题 4. 3. 3 的 可 用 框架 。 因 此 ， 经 常 需要 面临 这 样 一 个 问题 ， 就 是 在 不 知道 估计 
子 的 最 优 性 的 情况 下 ， 提 出 一 个 估计 子 并 评价 它 的 性 能 (例如 有 偏 性 和 方差 );。 在 这 种 情况 
下 ， 能 够 评价 估计 子 性 能 的 标准 是 有 用 的 ， 即 对 于 给 定 模 型 ， 明 确 其 估计 子 性 能 的 基本 限 
制 是 有 益 的 。 这 个 标准 在 某 种 程度 上 由 下 面 结论 给 出 。 

命题 43.4 信息 不 等 式 

假设 6 是 族 {(P,; 9EA)} 中 参数 0 的 估计 ， 并 且 有 下 列 条 件 成 立 : 

1) A 是 开 区 间 ; 

2) 族 {(P,; OC A) 有 相应 的 密度 族 {po; 0EA)， 所 有 元 素 都 有 相同 的 支撑 集 ; © 

3) po(y)/30 存在 ， 且 对 所 有 DEA 都 是 有 限 的 ， 并 且 所 有 y 在 po 的 支撑 集 里 ; 


4) 对 于 所 有 0E Ahly) 二 6(y) 和 h(y) = 二 1,9| h(y)pol(y)uldy)/39 存在 并 且 等 于 
r 


fa (y)Lape(y)/dd]uCdy) 。 


那么 
a 
varsLO(Y)] > bego] (4. 3. 20) 
其 中 
I, 全书 | (Sloep.c¥>) | (4. 3. 21) 
5) O pil(y)/OF 对 所 有 0EA 成 立 ，y Æ pi 的 支撑 集 里 ， 并 且 
| Zoua) = =| pt ld? 
如 果 条 件 5) RE, MA 1 可 以 通过 下 式 计算 
l =— E, | Splen) (4. 3. 22) 
证 明 利用 Schwarz 不 等 式 可 直接 得 到 需要 证 明 的 结论 。 特 别 地 ， 有 
EID) = | AO pady) (4. 3. 23) 


对 式 (4. 3. 23) 进 行 微分 ， 并 且 将 条 件 4) 代 入 ， 有 





O 集合 (ty| p06) >0) MFA OCA 都 相同 。 
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BEN) = | Oy Epoa) 
同时 根据 条 件 4) 还 能 推出 


fe) 
| 2 p96 pldy) = c pud) = 2a) =0 
所 以 可 得 


EOD) 一 | G — EOD Èp Oy) 
=| o- ELAND [Slogp Cy) |pouldy) (4. 38. 24) 


=E, (T0) -Ei ag zloga CY) | | 


其 中 第 二 个 等 式 由 ologp, (y)/30 二 [Bpo(y)/30]/po(y) 推 得 。 将 Schwarz 不 等 式 代 入 
式 (4. 3. 24) 后 ， 有 


2 
(SE.007))) < ELO — EOP H, (4. 3. 25) 


其 中 五 按照 式 (4.3.21) 定 义 。 结 合 E {LCY ) — E; (6(Y) ]*} = var, [CY )] T HE 
RA. 3. 20) 成 立 。 
为 了 证 明 式 (4. 3. 22) ， 由 


2 2 
2 3 logt (Y) = (Epea) (2log) (4. 3. 26) 


在 式 (4. 3. 26) 等 号 两 边 同 时 取 期 望 E { + } 并 重新 整理 可 得 
a z 
=~ E,(Sglogpe¥) |, 2 pu u6dy) 
利用 条 件 5) 可 得 
| 总 OF ap Poly pldy) = =|. Pil pCdy) = 2- 


BPs (4. 3. 22) 成 立 。 口 

由 式 (4. 3. 21) 定 义 的 量 I 通常 称 作 利用 了 估计 9 的 Fisher 信息 ， 并 且 称 式 (4. 2. 20) 
H Fisher 信息 不 等 式 。 对 于 给 定 的 模型 ， 由 Fisher 信息 不 等 式 可 以 知道 ， 此 信息 测度 越 
高 ， 估 计 精 确 度 的 下 限 将 会 越 好 。 能 够 使 信息 不 等 式 取 等 号 的 估计 子 只 在 某 些 特定 的 情况 
下 才 存 在 [参见 Lehman(1938) 或 下 文 的 讨论 ]。 对 于 6 是 无 偏 估 计 (Es{8(y)} 王 9) 的 特殊 情 
况 ，Fisher 信息 不 等 式 化 简 为 


zd) = 0 


varsL6(Y)] > 了 (4, 2. 27) 
0 


这 就 是 著名 的 克拉 美 罗 下 界 (Cramér-Rao lower bound, CRLB). 

下 面 以 特定 的 估计 问题 为 例 来 阐释 信息 不 等 式 ， 这 些 例 子 将 进一步 说 明 指 数 族 在 参数 
估计 中 的 重要 性 。 

指数 族 的 信息 不 等 式 

假设 A 是 开 区 间 且 po《y) 可 表示 为 


RAE 参数 估计 基础 


Poly) = CC ET hCy) (4. 3. 28) 
其 中 C、g、 工 和 都 是 实 值 函 数 ， 且 g(9) 存 在 一 阶 导 数 g (9)。 假 设 Eo{ | TOY) |}<oA 


S| eop = | Behu) 
命题 4.3.4 中 的 条 件 1) 一 4) 都 成 立 。 由 于 po(y) 的 积分 等 于 1， 归 一 化 后 可 以 得 到 COO) = 
[| hoa] 。 
为 了 计算 指数 密度 族 的 Fisher 信息 量 Lp, HRU. 3. 28) 改 写成 如 下 形式 
ep yd = eth Ti + loghty) = log| | eX" AC) pdy) | 
对 其 进行 微分 后 ， 有 


g D| Teor hatay) 


2 logro) = DT = g' (WILT) — B(T 3}] 


| OTRO pdy) 
因此 

Da, El (lenn) | = Lg’ OFE, {LTOY) — E {TO} P} = Ce’ J van [TOY] 
此 时 Fisher 信息 不 等 式 化 为 








人 x 2 
-2.E,{6CY)) 
Ez ] 
versl DO) O T vnl] eine 
假设 考虑 T(y) 本 身 就 是 9 的 估计 子 。 那 么 有 
| TOEO pdy) 
E ATOY) = 二 (4. 3. 30) 
| orp) pdy) 
对 式 (4. 3. 30) 进 行 微分 后 ， 可 直接 得 到 
LEAT} = g' Ovan [TY)] 
结合 式 (4. 3. 29) AH Fisher 信息 不 等 式 的 下 界 等 于 
| D 2 
2E, (OY)) 
Lad l = van TOE] (4. 3. 31) 





[g (0 P varn TY) | 
从 式 (4.3.31) 中 可 以 看 出 : T(Y) 达到 了 Fisher 信息 不 等 式 的 下 界 ， 即 在 所 有 满足 
3E,{6(Y)}/80 二 39Es(T(Y))/39 的 估计 子 6 中 ， 它 的 方差 是 最 小 的 。 特 别 地 ， 如 果 了 对 于 0 
是 无 偏 的 ， 那 么 它 就 是 MVUE。 事 实 上， 在 该 情况 下 工 也 是 0 的 完备 充分 统计 量 。 < 
在 上 述 正则 化 假设 下 ， 式 (4. 3. 28) 所 描述 的 指数 族 是 了 的 方差 取得 信息 不 等 式 下 界 的 
充分 条 件 。 类 似 地 ， 在 相同 约束 条 件 下 ， 这 种 形式 也 是 对 所 有 OC A 都 取得 下 界 的 必要 条 
件 。 特 别 值得 注意 的 是 : 对 于 所 有 0E A 而 言 ，6 的 方差 取信 息 不 等 式 下 限 的 充分 必要 条 件 
是 式 (4. 3. 25) 取 等 号 ， 即 


Dlogps(Y) = 2) [A(Y) — E, {ACY} ] 
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件 是 


0 
pa h(y exp { | kOTO) — flo) do}, yer (4. 3. 32) 
其 中 h(y) 不 依赖 于 9。 式 (4. 3.320 MWA BAUR. 3. 28) 的 指数 族 形 式 ， 即 
0 
Ci) = exp 人 一 | ka) floddo}, gO = [Cde, TO) = Fes) 


将 式 (4. 3. 32) 代 人 式 (4.3.24) 后 ， 易 知 RO 必须 等 于 Jj/[3Es{6(Y)}/380]。 至 此 得 出 结 
论 : 单 参数 指数 族 分 布 在 正则 化 条 件 约 束 下 ， 估 计 值 6 取得 Fisher 信息 不 等 式 下 界 的 充分 
必要 条 件 是 6(y) 一 T(y) 。 


4.4 最 大 似 然 估 计 


对 于 很 多 实际 的 观察 模型 ， 因 为 所 要 求 的 分 析 过 程 过 于 困难 或 是 缺少 可 用 的 完备 充分 
统计 量 ， 无 法 利用 4. 3 节 的 相关 结论 来 求解 最 小 方差 无 偏 估计 。 因 此 对 于 这 些 模型 ， 有 必 
要 寻找 出 其 他 合适 的 估计 量 ， 例 如 最 大 似 然 估 计 。 最 大 似 然 估计 是 常用 的 估算 方法 ， 下 面 
予以 重点 介绍 。 

为 了 便于 引出 最 大 似 然 估 计 ， 首 先 考虑 最 大 后 验 估计 unp(y)。 最 大 后 验 估计 由 下 式 
给 出 

fuar Cy) = arg {max pa (y)w(0) } (4.4.1) 
在 缺少 参数 先 验 信息 时 ， 可 以 假设 它 在 其 定义 域 上 均匀 分 布 ( 即 w(9) 是 常数 )， 近 似 给 出 
有 关 先 验 信息 的 最 坏 情况 。 此 时 ， 给 定 观 察 yET 的 最 大 后 验 估计 是 任意 一 个 在 A 上 最 大 
化 po(Cy) 的 9。 又 因为 pp(y) 是 9 的 函数 ， 也 称 为 似 然 函数 (pi1(y)/po《y) 是 似 然 比 );， 所 以 
通常 将 等 先 验 信息 的 最 大 后 验 估计 称 为 最 大 似 然 估计 (MLE)。 用 6 表示 这 个 估计 值 ， 即 
Ôu Cy) = arg (max pa (y) } (4. 4. 2) 
在 上 述 论证 过 程 中 存在 两 个 错误 : 一 方面 ， 无 法 保证 总 能 构造 出 在 A 上 的 均匀 分 布 ， 因 为 
A 可 能 无 界 ; 另 一 方面 ， 假 设 参 数 服 从 均匀 分 布 与 假设 先 验 信息 未 知 或 者 参数 是 确定 量 存 
在 本 质 区 别 。 不 过 ， 最 大 似 然 估计 在 很 多 情况 下 仍然 是 非常 有 效 的 。 在 本 节 中 ， 它 的 具体 
推导 过 程 将 通过 其 他 更 直接 的 方式 展现 。 此 外 ， 求 解 使 观察 最 有 可 能 发 生 的 0 值 ， 就 其 本 
身 而 言 也 是 合理 的 。 

考虑 到 取 加 (y) 的 最 大 值 与 取 logpo(y) 的 最 大 值 等 价 ， 在 假设 函数 足够 平滑 后 ， 最 大 

似 然 估 计 的 必要 条 件 是 


Dlogpa(y) [pu =0 (4. 4. 3) 


AU. 4. 3) 就 是 似 然 方程 ， 即 便 它 的 解 并 不 是 pO BRKE, 但 也 具有 一 些 非常 有 用 的 

比如 ， 假 设 需要 求解 克拉 美 罗 下 界 ， 即 假设 8 是 9 的 无 偏 估计 ， 且 var [LO(Y)]==1/1 
(此 时 6 是 9 的 最 小 方差 无 偏 估计 )。 依 据 式 (4. 3. 32)， 可 以 得 到 logpe(y) 一 定 具有 如 下 
形式 
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0 
logps(y) = | LI) — oldo + logh (y) Ch ae 
其 中 需要 利用 f(0)==9 和 有 &(O 一 有 /CO9)。 进 而 有 似 然 方程 为 
Flog pay) | a= Bae re LEÔ) =p] |o= iy =p hs 


它 的 解 为 bw.(y) 二 06(y)。 显 然 ， 如 果 6 能 达到 克拉 美 罗 下 界 ， 那 么 它 就 是 似 然 方程 的 解 。 
也 就 是 说 ， 只 有 似 然 方 程 的 解 能 达到 克拉 美 罗 下 界 。 遗 憾 的 是 ， 似 然 方程 的 解 并 不 总 是 都 
能 达到 克拉 美 罗 下 界 ， 甚 至 也 不 能 保证 它们 都 是 无 偏 佑 计 [ 不 过 ， 在 logp。 取得 式 (4. 4. 4) 
的 值 时 可 达到 克拉 美 罗 下 界 ]。 并 且 ， 当 似 然 方程 的 解 不 符合 克拉 美 罗 下 界 时 ， 可 能 存在 
其 他 的 具有 相同 偏差 的 估计 量 ， 能 获得 比 pwm. 更 小 的 估计 方差 。 

由 上 述 讨论 可 知 : 似 然 方 程 的 解 在 某 些 情况 下 可 作为 最 小 方差 无 偏 佑 计量 。 在 观测 空 
间 R” 由 独立 同 分 布 的 立 所 构成 的 情况 下 ， 似 然 方程 的 解 在 正则 性 约束 下 是 无 偏差 的 ， 且 
随 着 ”~ce 逐 渐 趋 于 克拉 美 罗 下 界 。 在 研究 渐 近 性 之 前 ， 首 先 用 下 面 的 两 个 例子 来 解释 最 
大 似 然 估计 。 


指数 分 布 参数 的 最 大 似 然 估 计 


mrad 人 一 (0， co), EY, merg Ya 为 独立 同 分 布 的 指数 分 布 随机 变量 ， 0 为 
其 分 布 参 数 , BM poy) = [AoD A 
Ge +, yy, SO 
fo ye) -1 (4. 4. 6) 
MeO 


已 知 pO) =el -ony HT a3 \y. 。 似 然 方 程 可 写 为 


ne 


n = 
g= îm 0 


= 0 (4. 4. 7) 


0= HV D) 








Dlogp 
方程 的 唯一 解 为 Gu(y) 二 1/3。 因 为 Pogy) IP= n/P <0, M poly) 的 极 大 值 在 该 
点 处 取得 。 因 为 By{Y,} 二 1/9， 所 以 EY) =1/0, HH 1/5 作为 8 的 估 值 是 合理 的 。 实 际 
上 ， 弱 大 数 定理 表明 Y>1/0 依 概率 服从 P,， 也 就 是 1/ 了 一 0 依 概率 服从 Pos 即 最 大 似 然 
估计 依 概 率 收敛 于 实际 参数 ， 这 就 是 它 的 一 致 性 。 最 大 似 然 估 计 的 一 致 性 并 不 只 适用 于 指 
数 参 数 分 布 的 例子 ， 它 在 一 般 意义 下 也 适用 。 

相应 的 Fisher 信息 量 可 通过 下 式 计算 
I, =— E| Slog) |=- Ey(—n/ 0} = ml 


对 应 的 克拉 美 罗 下 界 是 FF/n。 因 为 9logpo(y)/309 不 满足 &(9)[Ow_(y) 一 (9)] 的 形式 ， 所 
以 Fisher 信息 不 等 式 不 能 取得 下 界 。 然 而 ， 可 以 直接 计算 出 pm 的 均值 和 方差 。 特 别 地 ， 
利用 特征 函数 直接 就 能 得 出 样本 均值 Y 的 概率 分 布 函数 为 


从 中 可 以 求 得 ( 当 n> 1 时 ) 
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1 
E; { ĝm. (Y)} =E= K (4. 4. 8) 


n= 1 
以 及 ( 当 n>2 时 ) 
On? 
| Ga—D*(n—2) 
HAC. 4. 8) 可 以 得 出 : 尽管 hu(Y) 是 有 偏差 的 ,但 limEs {Ôw YD} 二 9， 即 它 是 渐 近 无 偏 
的 。 另 外 ， 当 n>co 时 ， 有 下 式 成 立 


varoLOu Y) Ip = ee puI os 


因此 ，pwm .的 方差 逐渐 趋 于 克拉 美 罗 下 界 ， 即 具有 渐 近 有 效 性 。 就 一 般 意义 上 的 独立 同 分 
布 观察 而 言 ， 渐 近 无 偏 性 与 渐 近 有 效 性 是 MLE 的 两 大 特征 。 

作为 这 个 例子 的 最 后 注解 ， 根 据 命题 4. 3. 3， 在 这 个 模型 中 ，Y 是 完备 充分 统计 量 。 
并 且 ， 由 式 (4. 4. 8) 得 出 


vars[L Ou. (Y) ] = (4. 4. 9) 








n 


ERE 9 的 无 偏 估 计量 ， 它 仅 由 了 决定 。 因 此 9 的 最 小 方差 无 偏 估计 为 
n—1l 
n 





bur Y) A buy Cy) 
从 式 (4.4.9) 可 知 ， 估 计 方 差 为 


2 
vars Côn (Y) ] = oH 


它 是 比 克拉 美 罗 下 界 更 大 的 数 ( 这 是 必然 的 ， 因 为 该 情况 下 无 法 达到 克拉 美 罗 下 界 )， 但 是 
随 着 n 的 增 大 ， 逐 渐 接 近 克 拉美 罗 下 界 。 

RA. 4. 10) 中 的 方差 等 于 uv 的 均 方 误差 ， 因 为 它 是 无 偏 估计 。 对 于 最 大 似 然 估计 ， 
它 的 均 方 误差 为 


(4. 4. 10) 





Es{[Ou Y) — 0P} = varsL Ow VY) ] +8’ (a) (4. 4.11) 
FEA (0) AE, {Oy Y)} o 是 6 的 偏差 。 利 用 式 (4. 4. 8) 和 (4. 4.9) 可 以 得 到 
A Oi, a= (n+ 2) 
Ex{[6m 0) — 0} = oy Ga 
显然 ，bwv 的 均 方 误 差 大 于 史 /(C2 一 2)。 因 此 ， 在 这 种 情况 下 的 最 小 方差 无 偏 估计 比 最 大 似 
然 估 计 更 适合 ， 尽 管 它 们 渐 近 相等 。 < 


信号 幅度 的 最 大 似 然 估计 
考虑 在 例 4.3.3 中 已 分 析 过 的 模型 
Yi = Ni Hus k=1,.n 
其 中 Ni eo N, ERANO, PRIR, s56 o s) 已 知 , JŽ E 
知 时 幅度 y 的 似 然 方 程 为 
1 IÑ 


ə s A. — 
= A a + 2 > Cyr psi)” ) 





= By D) 
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本 
= = Dy Ly — êm (y) 5, ] = 0 (4. 4. 12) 

k=1 
pu (y) = 2 si9/ F (4. 4. 13) 
k=1 
其 中 5A(1/n) st. BIW 
Ə /1 1 = 

= af 2 (jlog(2xa") ta — pss)? )=—n s/o <0 (4. 4.14) 


所 以 logpi O) FE a WRK, TARD EA fe ES PR. 
因为 pm 与 4 的 最 小 方差 无 偏 估 计 相 等 (由 例 4. 3. 3 可 看 出 )， 由 此 可 得 E, (Am CY) } = pe 和 
var fm. (Y) J=o7/ns?, HRA. 4.100 L=ns?/e, WA 


2 
CRLB = -一 = var,[ fim (Y) J (4. 4.15) 
ns 


到 当 0 二 yy 时 ， 可 以 得 到 
9 - A E 
3glogzo(y) = kO LÊ (y) — 0] 
其 中 二 二 ns*/o*， 这 正 是 克拉 美 罗 下 界 所 要 求 的 形式 。 


现在 假设 /已 知 ， 需 要 估算 a 。 似 然 方 程 变 为 


ə eee O E EE oe aea 
3g 208P) f= 2AL) TEMOR KA We ee te 


该 方程 有 唯一 解 


Hn (9) = = >) Ce — pose? (4. 4.17) 


k=1 


因为 
9 1 ay att A2 2 
aF ogp: O) = zg oa. Cy? =g] (4. 4.18) 


所 以 ， 当 史 一 0 (Cy AY. logt: QE d 上 是 增加 的 ; 4 f >on (Wit, logp, (y) TE o° 上 是 减 
小 的 。 显然 ，logpo(y) 在 hm.(y) 处 得 到 极 大 值 。 还 可 以 由 式 (4. 4. 18) 得 到 ， 当 OH 时 ， 有 


9 = FZ = 
5 9 oeee ly) = pgp LO OD) 6] (4. 4.19) 


例 4. 3. 4 BEA Gin. (y) 无 偏 且 能 达到 克拉 美 罗 下 界 ， 因 此 pw 是 王 的 最 小 方差 无 偏 估计 。 通 
过 观察 式 (4. 4. 19)， 得 到 I= n/20 =n/20', BTU 


4 
CRLB = z = anlon Cy’) (4. 4. 20) 


MEB u 和 o? MBA. SO=(ps 到)，0 的 最 大 似 然 估 计 通 过 在 上 和 的 值 域 上 最 大 化 
Poly) FEB. ERARA. 4. 13) 可 知 Am.(y) 的 极 大 值 与 无 关 ， 可 以 得 到 
max logp,(y) = max {max logt: (y) } 一 max| 一 $ dylog(2no*) = ae LS — fm Cy) se? 


(pro) o 


除了 将 yy 设 为 fmL(y) 之 外 ， 方程 的 右边 与 已 知 u hiit o’ 属于 相同 的 极 大 化 问题 。 因 此 ， 
Fim BR 后 ， 极 大 值 直接 由 式 (4.4.17) 得 到 。 同 理 ,，9 二 (jy, 0 ) 的 最 大 似 然 估 计 为 
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Ôu I) =Lam Cy), ay], Hp 


fue (y) = 2 six! S (4. 4. 21a) 
k=] 


ay) = 二 > [xy — fim ity? (4. 4. 21b) 
k=1 


在 这 种 情况 下 ，pwi 的 估 值 仍然 是 y 的 最 小 方差 无 偏 估计 。 然 而 ， 由 式 (4. 3. 19) 可 知 
uL Cy) =L(n—-1) /n Jou (y). 因此 


E, {Gu (Y)} = le 


此 时 ,oc 的 最 大 似 然 估 计 是 有 偏 的 (虽然 它 渐 近 无 偏 ) 。 由 于 
vary_ou. (Y)] = [Cn — 1)?/n? var, [oi CY) | 
因此 sh.(y) 有 比 最 小 方差 无 偏 估计 更 小 的 方差 ， 可 以 表示 为 (见习 题 14)S 


20° 
n—1l 


即 o? 的 最 小 方差 无 偏 估计 的 均 方 误差 Ey {Coby Yo} 二 201/(n 一 1)。 相 应 地 ，o? 的 最 
大 似 然 估 计 的 均 方 误差 可 表示 为 
E,{ Lota Y) — P T} 一 var[Lom Y) ] + LE, {Gin Y} — 0? 
-D ZF _. = By ji =g a (4. 4. 23) 





var (GMv (Y)) = 





(4. 4. 22) 





oo 
n? n— 1 


这 两 个 数值 的 比率 为 








Ey{ ain Y) — T) 本 ( n )( 2n 
E, {Lov (Y) — o ]?} 2—1}/\2n—1 
由 式 (4. 4. 24) 可 知 ， 均 方 误差 一 致 低 于 最 小 方差 无 偏 估 计 的 均 方 误 差 。 这 是 因为 最 大 似 然 
估计 的 偏差 在 MSE 意义 上 所 产生 的 方差 增 量 被 最 小 方程 无 偏 估计 在 方差 上 所 引入 的 更 大 
增 量 所 抵消 。 因 此 ， 就 均 方 误差 而 言 ， 最 小 方差 无 偏 估计 并 不 一 定 总 是 最 优 估计 。 < 
上 面 的 两 个 例子 展示 了 最 大 似 然 估计 的 一 个 重要 特点 ， 即 随 着 独立 样本 个 数 的 增加 ， 
最 大 似 然 估 计 具 有 渐 近 性 。 这 也 是 最 大 似 然 估 计 获 得 广泛 应 用 的 主要 原因 。 下 面 将 讨论 最 
大 似 然 估计 的 渐 近 性 。 
假设 有 一 系列 独立 同 分 布 采样 YI，Y,，…，Y,， 每 个 样本 都 有 集合 {fo; OCA} PH 
边缘 密度 函数 fo. HG, 记 作 样本 个 数 为 n 的 似 然 方 程 的 解 ， 即 


lea (4. 4. 24) 


logt (y) loan = Divlynsd,(y] = 0 
d0 k=1 
其 中 gms OASlogfa,,)/00. FHA 


= 40,0] = 0 (4. 4. 25) 
k=1 





© 有 趣 的 是 : w 已 知情 况 下 o BAN TT HFC ETT ADT EW 20" /n DAK. 4. 20) 可 知 ]; py 未 知情 况 下 o? 的 最 
小 方差 无 偏 估计 的 方差 为 26/(n 一 了 )[ 从 式 (4.4.22) 可 知 ]。 因 此 ， 对 于 o? 的 无 偏 估计 ， 当 jy RMN, FE 
着 一 次 观测 “损失 ”。 
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下 面 固定 参数 9E A， 分析 参量 1y(y, ,0)/n 的 值 。 假 设 0 是 实际 参数 值 ， 即 立 一 广 ， 


弱 大 数 定 理 表 明 
依 概 率 





E,{y(Y' ;0 )} 


alr 


Doon 
可 得 
E,(y(¥130')} = I. Pog a6) loos fay pdy) 和 Ji0) C 4. 26) 
假设 式 (4. 4. 26) 中 积分 和 微分 的 顺序 可 以 互 换 ， 则 TOs OOM BA: 
6:0) =| [Beno ao jdy y= | 2 flow pdy) = Al fan ald) = 2a) = 0 
Alt, oO=-0BRFRIO; 9') = 二 0 的 一 个 解 。 假 设 它 是 J(; 0 ) 的 唯一 解 ， 并 且 


J; 0 Al Sgt sg/ 都 是 0 的 平滑 函数 。 考 虑 到 对 于 较 大 的 fh, DiycYi30)/n 接 
EFJO: 9)， 那 么 可 以 认为 当 nn 较 大 时 ， 这 两 个 函数 具有 相同 的 根 。 也 就 是 说 ， 当 nn 较 
大 时 ，6(Y) 趋 近 于 实际 参数 值 9。 从 统计 意义 上 看 ， 可 以 认为 当 n 一 co 时 ，6.(Y) 一 90。 实 
际 上 ， 在 满足 合适 的 光滑 度 和 单 值 性 条 件 下 ， 似 然 方 程 的 解 具有 一 致 性 ， 即 它们 依 概率 收 
敛 于 真实 参数 的 值 
limP,(|6,%) —@|>e)=0, 任意 s 之 0 

下 面 给 出 似 然 方程 的 解 具 有 一 致 性 所 要 求 的 约束 条 件 。 

命题 4. 4. 1 似 然 估计 的 一 致 性 

假设 {Yi} 尺 1 是 独立 同 分 布 随机 变量 序列 ， 其 概率 密度 函数 为 fo HAJ EpL 
同上 。 若 进一步 假设 下 列 三 个 条 件 成 立 : 

DIJO; 9 ) 是 9 的 连续 函数 ， 且 有 唯一 根 9 二 9， 通 数 在 该 点 改变 符号 ; 

20%; 0') 是 0 的 连续 函数 (概率 为 1)3; 

3) AFEA n, JY n 都 有 唯一 根 久 (概率 为 D. 

AB Z 6, > O ARE) 。 

WEAR 根据 条 件 1) w >0 HEB IOs 9 十 e) 和 J(0; 9 一 e) 的 符号 相反 。 令 6=min 
{|J@; 9 十 e) | ，| 本 (9; |}, HEA n EASA NA, EP, RAA 和 A; 分 别 为 


A+ = {110+© D<] 
the (4. 4. 27) 
Ay = [1700-9-5 DY- |<} 


n $= 


BA, HEAL, W1y(Vss0-+e)/n—H GI 00t ASHE AL, D Y0) /n— 
k=1 k=1 
定 与 ](0;0 一 6) 同 号 ;对 于 A， (Yi30 十 6)/n 与 Dy(Y1;0 一 e)/n 异 号 .结合 函数 的 连续 
k=1 k=1 


性 假设 2), SCV 50") /n 只 有 在 过 零点 时 改变 符号 .因此 ,对 于 A, AÂ, 是 介 于 0 一 和 0 te 
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之 间 的 数 .这 意味 着 A, 是 {12 -—Ol< ec} 的 子 集 , 有 PC10. 一 和 | 委 e) > P(A,) 成 立 。 
由 弱 大 数 定理 可 知 


二 2 YY430 十 e) 一 (0;0 十 e)( 依 概率 ) 
k=1 
同时 
ISAY) 一 (0;0 一 e)( 依 概率 ) (4. 4. 28) 
k=1 


所 以 ， 当 n 一 co 时 ， 有 了 P(A: ) 一 1 H P(A; ) 一 1。 得 到 
1 >P(|ĝ,—0|< e) > P(A,) = PCA) +P(A) — P(A} U AZ) 
>P(At) + P(A;)-1—>1 (4. 4. 29) 
因此 P(b, 一 外 | 委 e) 一 1。 又 因为 s 是 任意 选取 的 ， 所 以 似 然 估 计 的 一 致 性 成 立 。 口 
备注 “可 以 采用 不 同 的 方式 来 松弛 命题 中 的 约束 条 件 。 首 先 ， 函 数 J(6; OMY; 0 ) 
的 连续 性 可 以 放宽 到 在 0 =O 的 临 域 上 连续 。 此 外 ， 并 不 一 定 需要 假设 存在 根 人 多， 因为 上 述 
证 明 过 程 表 明了 似 然 方程 在 A, 上 以 概率 1 一 定 有 解 。 实 际 上 ， 只 要 在 满足 局 部 连续 性 假设 
的 前 提 下 ， 上 面 的 过 程 就 能 够 证 明 似 然 方程 的 一 系列 根 以 概率 1 SIO; 9) 的 任意 孤立 
RE, BM, MRIO; 9) 有 多 重 根 ， 求解 似 然 方程 时 将 出 现 不 一 致 的 解 序列 。 
除了 一 致 性 外 ， 从 上 面 的 例子 中 可 以 看 到 似 然 方程 的 解 也 具有 渐 近 无 偏 性 和 有 效 性 。 
在 命题 4. 4. 1 的 条 件 下 ，6. 依 概率 收敛 于 290。 如果 能 够 用 下 式 表 示 这 类 收敛 性 
limE,{6,} = E; {lim 8, } (4. 4. 30) 
那么 ， 就 能 证 明 估 计 子 的 渐 近 无 偏 性 。 式 (4.4. 30) 中 交换 极限 与 期 望 的 顺序 对 于 依 概率 收敛 而 
言 并 不 总 是 可 行 的 ， 不过， 通过 对 y 施 加 一 系列 约束 后 ， 就 可 以 交换 极限 与 期 望 的 顺序 。 能 够 
交换 极限 与 期 望 顺序 的 一 个 充分 条 件 是 : 存在 随机 变量 X， 对 于 每 个 nm，| 人 .| 过 和 KZ, HA 
轧 {X)<co。 这 就 是 控制 收敛 定理 。 鉴 于 2 具有 一 致 性 ， 渐 近 无 偏 性 就 是 可 预期 的 合理 特性 。 
下 面 将 说 明 最 大 似 然 估计 具有 渐 近 有 效 性 的 原因 。 首 先 考虑 一 个 与 之 相关 的 问题 ， 即 
寻找 误差 (2 一 0) 的 渐 近 分 布 。 
命题 4.4. 2 ” 似 然 估计 的 渐 近 正 态 性 
假设 {Yi) 泊 1 是 独立 同 分 布 随机 变量 序列 ， 其 概率 密度 函数 为 fos HE, AWAR 
方程 的 一 系列 一 致 根 。 进 一 步 假 设 由 满足 以 下 五 个 正则 条 件 : 
1) 0<i aE{(Ly Yi; OFK; 
2) 导数 内 Yi; MAIN; 0)/9309 和 (Yh; DASH 9)/(80)? 以 概率 1 存在; 
3) 存在 函数 MY, REM THA OCA, Ald’; |MY F E,{MCY,)} <0 
成 立 ; 
4) JO; 0) 一 0， 其 中 J(6; 0') 由 式 (4. 4. 26) 定 义 ; 
5) 保留 命题 4. 3.4 的 条 件 5)。 
那么 
Ps(Vnio(6, 一 0) 过 Xx) 一 G(rz)， 对 于 所 有 xzER 
其 中 ，® 是 标准 高 斯 分 布 ， 即 Vn(b 一 9) 依 分 布 收敛 于 正 态 分 布 N(0，1/is)。 
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证 明 利用 泰勒 展开 定理 ， 可 以 将 似 然 方 程 D1 CV 50.) = 0 的 左 半 部 分 展开 成 关 
于 9 的 形式 ， 即 

TÈT, MES ER PAL += 6, — 0 P = ALD 
其 中 0 介 于 6 与 人 之 间 。 整 理 式 (4. 4. 31) ， 得 到 一 个 关于 Vz (6 一 0) 的 表达 式 


— LS eri 
Vn(b, — 0) = = nant - (4. 4. 32) 
EDR E ET ESH A AS, 
n anf 


k=1 





下 面 分 析 式 (4. 4. 32) 右 半 部 分 的 分 母 。 根 据 弱 大 数 定理 ， 分 母 中 的 第 一 项 Dy! (CY;0)/n 
AE RUE E g Y O). ABRED, BoM, —O Dy" Y, :0,)/2n 的 边界 是 


NE eee 
50, —O 19's) |< 5 





ô, -0| +5 MY» (4. 4. 33) 
k=1 


BA, |3,—0| OCHRE), ， 且 利用 弱 大 数 定理 有 SMY 一 EMY} < co R. 
因此 ， 第 二 项 依 概率 收敛 于 零 。 综 上 ， 分 母 则 依 概率 收 化 于 Es{y (Yi 0). 

BOCA. 4. 32) 分 子 的 求 和 项 iy(Y,30) 是 个 独立 同 分 布 随机 变量 的 和 ,它们 各 自 的 均 
值 为 Es{y(Y1i;0)} = J00) = 0 方差 为 (及 (50)) 王 六 过 co。 因此 ,根据 中 心 极限 定理 ， 
一 0 而 yo, ;0) 依 分 布 收 敛 于 正 态 分 布 NCO,a) 。 


上 述 两 个 结果 表明 Yn(6, 一 9) 依 分 布 收敛 于 正 态 分 布 V(C0O，v )， 并 且 

v= i /Ei{y (Y ;0)} (4. 4. 34) 

除了 利用 式 (4. 3. 22) 的 推导 之 外 ， 直 接 代 入 Be (Yi; O}=—-El{Y Ns 0)}) 二 一 wo 后 ， 
同样 有 v =1/i 成 立 。 














Sit ” 可见， 在 独立 同 分 布 情况 下 ，Fisher 信息 量 由 =ni 给 出 。 可 以 尝试 将 这 个 
命题 的 结论 作为 b. 逐渐 趋 于 正 态 分 布 V(G6，1/nis) 的 条 件 。 此 时 ，6 的 均值 渐 近 等 于 0， 
方差 渐 近 等 于 1/nis， 即 克拉 美 罗 下 界 。 实 际 上 ， 已 经 证 明了 Vn(b 一 90) 的 渐 近 分 布 的 均值 
ER, 方差 是 1/ij。 这 与 En Â, — 0—0 以 及 varan Â, —0) ]>1/nip 是 不 同 的 。 在 增 
加 一 些 附加 条 件 后 ， 后 两 个 条 件 (第 二 个 条 件 为 浙 近 有 效 ) 也 成 立 ， 具 体 可 由 式 (4. 4. 32) 得 
到 。 从 应 用 角度 出 发 ， 命题 4. 4. 2 的 结论 足以 证 明 最 大 似 然 佑 计 是 渐 近 最 优 CMVUE) 售 
计 。 此 外 ， 渐 近 无 偏 性 和 渐 近 有 效 性 也 常用 渐 近 误差 分 布 的 均值 和 方差 来 定义 。 


4.5 最 大 似 然 估计 的 进一步 扩展 


4.5.1 向 量 参数 估计 
事实 上 ， 前面 有 关 最 大 似 然 估 计 的 所 有 分 析 都 是 维度 为 m 的 向 量 参数 估计 的 特例 。 在 
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向 量 参数 情况 下 ， 似 然 方程 具 的 向 量 形式 为 
g logo) le-js = 0 
(4.5.1) 
59, logp O) lens = 0 
对 于 独立 同 分 布 模型 ， 有 
Dy On 36, =0 
: (4. 5. 2) 
Som (ve 3, =0 


其 中 yj (ns 0) =ologfe(y.)/00; Fl fo Yi 的 边缘 概率 密度 。 
在 正则 性 约束 下 Fisher 信息 不 等 式 ( 命 题 4. 3.4) 也 可 扩展 到 向 量 情况 。 例 如 ， 无 偏 
估计 的 克拉 美 罗 下 限 是 
cova (ô) > I,’ (4. 5. 3) 
其 中 cov, (6) AE, {(6—0)(6—0)"}, I, fim Xm # Fisher 信息 和 矩阵， 它 的 第 1) 一: 号 元 
素 为 


(Ti = Es (| 59 oep Y) || B6108pa CY) |) (4.5.4) 
由 于 五 是 零 均 值 向 量 的 协 方差 矩阵 ， 即 

ə 9 Pee, j 

(5g 08b V) , ap-logpelY), „5g 08b Y) ) 








KI, CEDERE., RA. 5. 3) 假 设 此 和 矩阵 为 正定 矩阵 ， 和 矩阵 不 等 式 A 宇 B 表明 
A 一 B 是 半 正 定 和 矩阵 。 对 独立 同 分 布 而 言 ， 式 (4. 5. 3) 即 为 


cov (6) > Lip (4.5.5) 
其 中 
Cig) 5,1 — Es íp; (Y: ;0) p (Yı ;0)} (4. 5. 6) 
由 于 约束 条 件 与 命题 4. 4. 1 相似 ， 似 然 方 程 的 解 也 具有 一 致 性 ， 即 
lê. -ola [EDE 一 0 了] 一。 ( 依 概率 ) (4.5.7) 
同 理 ， 约 束 条 件 与 命题 4. 4. 2 类 似 ， 估 计 误 差 依 分 布 满足 
J/n(6, — 0) > N(0,i9') (4. 5. 8) 


显然 ， 向 量 参数 的 结论 与 标量 参数 相似 。 
针对 独立 同 分 布 模型 ， 有 关 最 大 似 然 估 计 更 详细 的 性 质 可 以 参考 Lehmann(1983) 所 写 
的 书 。 
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4.5.2 信号 参数 估计 
最 大 似 然 估 计 的 渐 近 性 质 也 可 以 扩展 到 某 些 时 变 模 型 ， 例 如 实 值 观 测 模型 
Y= sO) Ne k= 1,,n (4. 5. 9) 
其 中 {s (0))-: 表 示 信 号 序列 ， 它 是 未 知 参数 0 的 某 个 已 知 函 数 ，{ Ni)i_1 是 边缘 概率 密度 
为 了 的 独立 同 分 布 噪声 序列 。 为 简便 起 见 ， 假 设 0 是 在 区 间 A 上 的 标量 参数 。 
. 在 式 (4. 5. 9) 中 9 的 最 大 似 然 估计 通过 求解 下 面 的 方程 得 到 


6, = arg max[ > log/[Y, saC0)] | 
或 者 通过 求解 下 面 的 等 价 方程 得 到 


6, = arg min| 一 2) logf[LY, — s0] | (4. 5. 10) 
k=1 
相应 的 似 然 方程 为 
>) si Â pLYi — 2 (6,)] = 0 (4.5.11) 
k=1 


Hr, ga—f'/f, fi (x) Adf(x)/dz, s, ,) Aasi 0)/d0. 例如 ， 当 了 是 正 态 分 布 
NO, o® it, 304.5. 10) 和 式 (4. 5. 11) 分 别 等 于 


A _ . 2 z A 2 
6, arg[ min >) [Y,— 5 66, | | 4; 5: 125 
和 
215+ ODY, — 5(8,).] = 0 (4. 5. 13) 


在 式 (4. 5. 12) 中 ， 如 果 选 择 0 使 得 {s,C0)) 人 ;是 数据 的 最 小 二 乘 估计 ， 那 么 该 式 也 是 9 的 最 
小 二 乘 估 计 。 即 通过 选择 0 使 得 数据 和 由 9 所 产生 的 信号 之 间 的 平方 误差 最 小 。 最 小 二 乘 
法 是 一 种 经 典 估计 方法 ， 即 使 误差 不 满足 高 斯 分 布 ， 在 类 似 式 (4. 5.9) 所 描述 的 观测 模型 
中 也 常常 用 到 。 

似 然 方程 (4. 5. 11) 的 解 与 独立 同 分 布下 的 最 大 似 然 估 计 具 有 相同 的 渐 近 性 质 。 然 而 ， 
在 分 析 渐 近 性 时 ， 需 要 特别 考虑 信号 的 时 变性 。 例 如 ， 对 于 有 限 个 样本 ， 如 果 信 和 号 幅度 恒 
等 于 零 (或 独立 于 参数 0) ， 则 不 可 能 期 望 该 观测 模型 仍 满足 一 致 性 。 为 了 说 明 对 信和 号 施加 
何 种 约束 才能 保证 似 然 方程 (4.5. 11) 的 解 与 独立 同 分 布 情况 下 似 然 方程 的 解 具有 相同 性 
质 ， 以 式 (4. 5. 13) 的 最 小 二 乘 估 计 为 例 来 进行 分 析 。 当 y 充分 正则 时 ， 对 于 式 (4. 5. 11) 所 
描述 的 更 一 般 性 情况 ， 类 似 的 结论 也 成 立 。 

结合 观测 模型 (4. 5. 9)， 代 入 最 小 二 乘 解 后， 方程 (4. 5. 13) 可 改写 为 


Sisia, N+ tC, Es. (CO) — s ĝ,)] = 0 (4. 5. 14) 
为 了 分 析 最 小 二 乘 解 和 所 需 的 特性 ， 考虑 每 个 0 EA 所 对 应 的 随机 变量 序列 


J,(0;0) A A PON + Ds sO — 5160 )] (4. 5. 15) 


k=1 


注意 ， 在 没有 品 声 (N, 寺 0) 时 ，6 =0 是 似 然 方程 (4. 5. 14) 的 解 。 然 而 ， 除 非 0 = 是 下 面 
方程 的 唯一 根 ， 否 则 即使 无 噪声 ， 方 程 (4. 5. 14) 也 无 法 得 到 正确 的 估计 结果 
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K,(0;0') & >). ODEs CO) — si(0')] (4.5. 16) 
k=1 


因此 ， 为 了 确保 似 然 方程 的 解 具有 一 致 性 ， 要 求 噪声 项 S11 CO") 是 渐 近 可 忽略 的 , 且 
K,(0;0') 项 浙 近 存在 唯一 根 。 两 边 同 除 4, > 之 0 后 , 式 (4. 5. 14) 的 结果 不 变 。 换 言 之 ,如 果 可 以 
找到 一 个 序列 {4d,)%, ,使 得 31s',C0)N,/d, 可 渐 近 忽略 不 计 , 且 K, (50!) /dy 存在 渐 近 的 只 


一 根 ,那么 式 (4. 5. 14) 的 根 与 独立 同 分 布 情况 具有 相同 的 特性 。 
注意 ， 在 假设 噪声 服从 N(0; 到 ) 分 布 时 ， 有 下 式 成 立 





IT +050") a N (GK «(010% 914,00") (4. 5.17) 
即 对 于 给 定 的 9 和 909'EA， 当 且 仅 当下 式 成 立时 ，J (90; 0')/d, 依 概 率 收敛 到 常数 
lim # DLO} =0 (4. 5. 18) 
All 
lim 7K. 0:0 (4. 5.19) 


利用 该 结论 ， 可 以 证 明 下 面 的 命题 4. 5. 1( 类 似 命题 4. 4. 1) 。 

命题 4. 5. 1 最 小 二 乘 的 一 致 性 

假设 由 式 (4. 5.9) 所 表示 的 观察 模型 包含 噪声 NM(0,， P), HARM EAA (d,) 1 
式 (4. 5.18) 和 式 (4. 5.19) 对 所 有 的 0 EA 成 立 。 进 一 步 假 设 5.(0)、s4(0 ) 和 J,(0; 0') 都 
是 0 的 连续 函数 ， 且 J(9; 0') 在 9 二 9 存在 唯一 根 。 其 中 


J,(010") A lim +K, (050°) (4. 5. 20) 
似 然 方程 (4.5.13) 存 在 一 系列 以 概率 1 RAT o k e, WRATH nN, 
式 (4. 5.13) a8 AE —ARG,, MÂ OCR ME). 
证 明 该 结论 与 证 明 命题 4. 4. 1 几乎 相同 ， 因 此 留 作 练习 。 下 面 考虑 估计 信和 号 振幅 的 问 
题 (参见 例 4. 4. 2) ， 其 中 对 于 已 知 序列 {w} 亿 ; ， 有 
sil) = Bes &=1,25*8%5n (4.5.21) 
此 时 ， 存 在 si(9) =s HE IL MP = JMK, 00) 一 (9 一 0) Ik. Be, WE 
(fr BL — SIE 9 EAD SR EE FETE FP d,s ES 


0< lim 7 J$ < (4. 5. 22) 


k=1 


在 信号 序列 满足 正则 性 约束 条 件 下 ， 式 (4. 5. 9) 的 最 小 二 乘 估计 具有 渐 近 正 态 性 。 需 要 注 
意 的 是 ， 如 果 s,(0) 存 在 三 阶 微分 ， 似 然 方程 可 以 展开 为 关于 9 的 泰勒 级 数 ， 即 


Ds OLY, — 1+ 6, — 0 SIL OLN — 1] — Ls 01] 
k=1 k=1 


+ 5, — 9? Di OY — 54 G,)] — 354 G, sh G,)] = 0 (4. 5. 23) 
k=) 
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其 中 0 在 9 和 之 间 。 整 理 方程 后 ， 可 得 到 


— AON, 
.一 0 一 一 -7 一 一 < = (4. 5. 24) 
DON- DOF +56, — 0 DZ,) 


k=l k= EF 





其 中 
Ze OY w2 [8% OLN, + (0) — 5,00’) ] — 35, (0') 5, €0') ] 

根据 误差 的 上 述 表 达 式 ， 可 以 证 明 最 小 二 乘 估 计 具 有 渐 近 正 态 性 。 

命题 4.5.2 最 小 二 乘 的 渐 近 正 态 性 

假设 式 (4.5.9) 表 示 的 观测 模型 包含 嗓 声 N(0， 喇 )， 且 (06.}: 是 0 的 最 小 二 乘 估计 序 

， 进 一 步 假设 以 下 正则 化 条 件 成 立 : 

1) 在 0 的 值 域 上 ， 存 在 函数 M 使 得 |Zi(0) | 三 M(Ni) 成 立 ， 且 E;{M(N,)} <œ, F 
时 假设 54(0) 的 导数 存在 ; 

2) tim 1 5 [si > 0; 


k=1 


3) lim PCs (0) |? [Zio li = 0e 
进而 ， 下 式 依 分 布 成 立 


172 
(DDE) 6, - 0 一 NGO,o) (4. 5. 25) 
k=l 


证 明 该 结论 的 过 程 与 独立 同 分 布 情况 下 的 证 明 过 程 类 似 ， 因 此 留 作 练习 。 需 要 注意 的 是 ， 
此 时 Fisher 信息 为 


I, = DOT (4. 5. 26) 
因此 ， 与 独立 同 分 布 情况 类 似 ， 对 式 C4. 5.9) 所 描述 的 观测 模型 而 言 ， 最 小 二 乘 估 计 是 误 


差 服从 NC(0，w ) 分 布 的 渐 近 有 效 估 计 。 
最 小 二 乘 估计 的 渐 近 正 态 性 在 估计 信号 幅度 (% (0) 一 和. ) 上 表现 得 更 为 直观 。 此 时 ， 因 


为 Z,(6')=0 As (0)=0, 所 以 渐 近 正 态 需要 的 唯一 条 件 是 lim stn > 0 ， 事实 上 ， 参 


见 例 4. 4. 2， 采用 直接 分 析 的 方式 也 能 得 出 MLE 在 这 种 特殊 情况 下 所 具有 的 性 质 

下 面 将 给 出 一 个 稍微 复杂 的 例子 。 

一 阶 线性 系统 辨识 

参数 估计 的 一 类 重要 应 用 是 系统 辨识 ， 希 望 通过 设置 一 个 输入 并 观察 其 输出 来 推断 系 
统 的 输入 /输出 结构 。 最 简单 的 辨识 问题 是 确定 一 阶 时 不 变 线 性 稳定 系统 。 这 类 系统 可 用 
祝 号 模型 描述 为 

SCO) = 0 10)Tu, k=1,2,.,n (4.5.27) 

th, [0] <1, Alw hi EE MM MAI, BR 09 是 齐 次 方程 % 0) 一 00) 的 系数 ， 
即 在 线性 、 时 不 变 和 一 阶 假设 下 ， 系 统 特性 完全 由 该 参数 确定 。 测 量 系 统 的 输出 通常 受 品 
声 影响 ， 在 假设 噪声 满足 独立 同 分 布 时 ， 估 计 9 与 式 (4. 5.9) 所 描述 的 模型 类 似 。 在 误差 
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RANO, DIERN, Z o 的 均 方 误差 估计 结果 
假设 系统 (4. 5. 27) 的 初始 状态 ww (0) = 二 0， 式 (4. 5. 27) 的 解 为 
sD = DO (4. 5. 28) 


4 n> colt, 能 否 正 确 估计 0 CAR EAP (ue Vs 。 对 于 输入 信和 呈 是 常数 的 情况 ， 即 
w=1H. At 之 1， 系 统 的 输出 为 
nt) 一 之 16 和 一 So" = 


(一 入 








— Dr 
=F sO = 





aa 
这 意味 着 
-lrer (2 一 0 
lim LWT = a (4. 5. 29) 
且 
lim È DLEO O — s00] = jon (4. 5. 30) 





显然 , 式 (4.5.30) 在 0 二 9 处 有 了 唯一 根 且 取 值 在 10' | 二 1 上 连续 。 式 (4. 5. 29) 和 
RA. 5. 30) 同 时 意味 着 在 d, =n 时 命题 4. 5.1 的 假设 成 立 。 因 此 ， 似 然 方程 具有 一 致 的 根 
序列 。[ 实 际 上 ，J(9; 0 ) 在 0 =0 的 邻 域外 有 界 且 不 等 于 零 ， 似 然 方程 任意 根 序列 均 具 有 
一 致 性 。] 

此 时 ,理解 9 存在 一 致 估计 并 不 困难 。 注 意 到 wx (0) 的 渐 近 值 是 1/(1 一 人 ， 则 系统 对 参数 
0 有 唯一 稳 态 解 。 既 然 通过 增长 观测 时 间 能 平均 掉 噪声 ， 那 么 就 能 利用 二 1，2，…，co 时 
的 系统 输出 来 确定 未 知 的 系统 参数 。 对 于 输入 信和 号 仅 持续 有 限 长 时 间 的 情况 ， 稳 定 系 统 意 
味 着 稳 态 输出 等 于 零 。 此 时 ， 命 题 4. 5. 1 的 假设 不 再 成 立 。 如 果 不 存在 测量 噪声 ， 那 么 利 
用 了 瞬 态 响应 可 准确 估计 系统 参数 。 不 过 ， 实 际 测量 总 存在 噪声 ， 因 此 有 必要 利用 稳定 状态 
下 的 输出 来 估计 系统 参数 。 在 系统 辨识 中 ， 通 常 将 能 够 产生 非 零 稳定 输出 的 输入 称 为 系统 
的 持续 激励 。 在 线性 系统 识 器 问题 中 ， 了 解 与 持续 激励 有 关 的 特性 就 足够 了 。 持 续 激 励 意 
味 着 输入 信号 的 频率 成 分 足够 充分 ， 以 至 于 它 能 够 激发 系统 的 所 有 振荡 模式 。 

对 于 常数 输入 信和 号， 因为 在 A 二 (一 1，1) 上 2 (0 ) 不 是 一 致 有 界 ， 所 以 无 法 直接 应 用 
命题 4. 5. 2 的 结论 。 然 而 ， 如 果 假 设 0 不 等 于 1 上 且 有 界 ， 即 取 A=( 一 1，0.) 和 <1， 那 
么 命题 4. 4. 4 的 正则 条 件 成 立 ， 似 然 方程 的 根 的 渐 近 正 态 性 和 一 致 有 效 性 仍然 成 立 。 也 就 
是 说 ，Vz(p. 一 9) 的 渐 近 方差 是 到 (1 一 0 102 一 9) 。 < 

就 信号 参数 估计 而 言 ， 最 大 似 然 估 计 和 最 小 二 乘 估计 所 涉及 的 其 他 有 关 问 题 将 在 本 章 
的 后 续 部 分 和 第 7 章 中 详细 分 析 。 在 讨论 下 个 问题 之 前 ， 需 要 明确 由 命题 4.5.1 和 4.5.2 
所 给 出 的 最 小 二 乘 估计 的 性 质 在 一 般 意 义 上 也 成 立 。 特 别 地 ， 有 下 面 的 性 质 成 立 

命题 4.5.3 非 高 斯 噪声 下 最 小 二 乘 估计 的 一 致 性 和 渐 近 正 态 性 

用 E{N,}=0 p E(N) =P KORA N, ~N O, PE, 命题 4.5.1 和 命题 4.5.2 仍 
然 成 立 。 

不 过 ， 值 得 注意 的 是 : 在 非 高 斯 噪声 背景 下 ，Fisher 信息 矩阵 不 再 具有 式 (4. 5. 26) 所 
给 出 的 形式 。 换 言 之 ， 在 非 高 斯 噪声 下 ， 无 法 证 明 最 小 二 乘 估 计 具 有 渐 近 有 效 性 。 
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4.5.3 信号 参数 的 稳健 估计 

重新 考虑 式 (4. 5. 9) 所 描述 的 参数 估计 问题 。 已 经 证 明了 最 大 似 然 估 计 在 最 小 化 渐 近 
方差 意义 上 是 渐 近 最 优 的 估计 子 。 不 过 ， 正 如 3.5 节 所 述 ， 式 (4. 5.9) 所 涉及 的 统计 模型 
在 实际 中 只 是 近似 有 效 。 那 么 ， 针 对 特殊 模型 所 设计 的 参数 估计 步 又 是 否 稳健 ? 即 参数 估 
计 的 性 能 是 否 对 模型 的 细微 变化 敏感 ? 


例如 ， 考 虑 噪声 服从 N(0，D) 分 布 的 模型 。 在 正则 性 约束 下 ， 假 设 w lim DT OF/n 


存在 且 为 正 ， 最 小 二 乘 估计 的 渐 近 分 布 为 W(6，1/zrej)。 假 设 噪声 的 实际 统计 特性 近似 服 
从 AKCO0，1) 的 正 态 分 布 ， 噪 声 的 概率 密度 图 数 为 
A= ae aa whim; LER (4. 5. 31) 


T 





其 中 AC a) JER FEM Pe EE REKA HTAA RACH. B 
Oh, < 和 | x’ hlx)dx 


那么 ， 由 命题 4. 5. 3 可 知 ， 最 小 二 乘 估计 的 渐 近 方差 为 
wm (1 一 s) 十 so; 


Neg 


(4. 5. 32) 


既然 无 界 ， 对 于 任意 e>0, ui 可 以 无 限 大 。 换 言 之 ， 最 大 渐 近 方差 为 
sup[(1 —¢e) Fegi |] = co G4. 5-33) 
显然 ， 如 果 测 量 数据 包含 部 分 方差 较 大 的 噪声 样本 ， 则 最 小 二 乘法 估计 缺乏 稳健 性 。 这 一 
情况 在 实际 中 可 能 发 生 ， 例 如 在 雷达 测量 中 ， 观 测 值 中 可 能 存在 部 分 方差 非常 大 而 s 较 小 
的 脉冲 干扰 。 在 给 定 模 型 下 ， 这 种 不 太 可 能 出 现 的 较 大 观测 值 一 般 称 为 “ 野 值 ”。 与 分 析 
3.5 节 中 的 信号 检测 问题 类 似 ， 需 要 在 噪声 的 名 义 分 布 模型 基础 上 采用 其 他 的 渐 近 方差 准 
则 来 设计 估计 器 。 
假设 式 (4. 5.9) 中 的 噪声 概率 密度 函数 f 偶 对 称 ， 考 虑 0 的 估计 为 

31518) oL¥s — (8,91 =0 (4. 5. 34) 
其 中 yy 是 广义 奇 对 称 函 数 。 当 y(x)= 二 x 时 ， 式 (4.5.34) 就 是 最 小 二 乘 估 计 ; 当 y(x) 王 
一 了 (x)/f(z) 时 ， 式 (4. 5. 34) 对 应 最 大 似 然 估计 。 通 常 称 形 如 式 (4. 5. 34) 的 估计 为 M- 估 
计 。 假 设 0 二 ee<ce，p、 和 (sw (0))} 忆 : 均 满 足 正 则 性 ，M- 估 计 具 有 一 致 性 ， 且 渐 近 服从 
NTO, Vig» f)/ne, irti, HP 





Ki 
VD Aa ly : (4. 5. 35) 


其 中 

Gi Cay == dylr)/dx 
显然 ， 对 于 不 确定 的 噪声 概率 密度 函数 类 下， 通过 最 小 化 M- 估 计 方 差 可 获得 参数 的 稳健 
估计 ， 即 优化 问题 可 描述 为 l 
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min sup V P) (4. 5. 36) 
就 一 般 性 的 密度 函数 集 下 而 言 ，Huber 在 1981 年 首次 给 出 了 式 (4. 5. 36) 的 求解 方法 ， 具 
体 求 解 过 程 大 致 如 下 。 


首先 ， 记 
KO a [P/F (4. 5. 37) 
然后 ， 令 fi BRA 下 中 最 小 化 工 ( 旋 的 密度 函数 ， 即 
Kf) = min ICP) (4. 5. 38) 


EBA. PAM 如 (z) 三 一 广 (z)/ 广 (Cz) 就 是 式 (4.5.36) 的 解 。 需 要 注意 的 是 ， 对 于 任意 f， 
都 有 
Vigo) | rs = VIC) (4. 5. 39) 

即 给 定 f Ja. Cnel] E MLE 的 渐 近 方差 ， 对 应 的 Fisher 信息 矩阵 为 neo1(f)。 既 然 
是 集合 下 中 的 函数 ， 与 之 对 应 的 最 优 估计 (MLE) 在 所 有 估计 中 能 最 小 化 最 坏 性 能 。 换 
言 之 ,稳健 M- 估 计 可 理解 为 在 最 不 利 密度 函数 fi. 上 的 最 优 估计 。 

针对 某 些 不 确定 的 模型 集 下 ， 已 经 得 到 了 优化 问题 minl (六 的 解 的 形式 [参见 Huber 
(1981)]。 例 如 ， 就 式 (4. 5. 31) 所 描述 的 e 污染 M(0，1) 模 型 而 言 ， 最 不 利 密度 函数 为 
1 





(一 动 er, HES 
Tv 


file) = i (4.5. 40) 
(1 = ee eck? 12 > [als k' 
at 2 


T 


其 中 常数 & 是 下 式 的 解 


1/2 2 
d=- = 20k") 一 1 十 十 (二 ) ew Ch 
k\x 
相应 的 y 函数 为 
Xs [e| <k 
AET l (4. 5. 42) 
ksgn(x), |z| 


与 假设 检验 类 似 ， 通 过 削弱 奇异 点 的 影响 来 实现 信号 参数 的 稳健 估计 。 

有 关 M- 估 计 器 和 其 他 稳健 估计 方法 的 进一步 讨论 ， 读 者 除了 参考 Kassam 和 Poor 
(1985) 的 综述 文章 之 外 ， 还 可 从 Huber(1981) 和 Hampel(1986) 的 书 中 找到 更 完整 的 论述 。 
4.5.4 递归 参数 估计 

最 大 似 然 估计 在 大 量 训练 样本 下 具有 很 好 的 估计 性 能 ， 但 计算 复杂 。 例 如 ， 在 nn 个 服 


从 密度 函数 为 的 独立 同 分 布 样本 基础 上 计算 最 大 似 然 估 计 需 要 求解 函数 > log fO) 


的 最 大 值 。 除 非 最 大 化 9 可 写 出 的 闭 式 函 数 形式 ， 和 否则 必须 采用 和 迭代 方法 寻找 bm Co) 。 
当 不 存在 低 维 的 充分 统计 量 时 ， 和 迭代 算法 需要 存储 并 同时 处 理 ”个 样本 。 特 别 是 随 着 样本 
数 的 增加 ， 闪 代 算法 几乎 不 具有 可 实现 性 。 因 此 ， 有 必要 采用 递归 或 序 贯 算法 来 降低 最 大 
似 然 估计 的 计算 量 和 存储 空间 。 

假设 一 致 序列 {6.} 过 :是 似 然 方程 的 解 ， 即 
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n 


jy Yi36,) = 0 (4. 5. 43) 


k=1 
其 中 yl(Yi; O=ologfs(Y.)/30. AWG, 1 — BFS, 24 not, EAL, Â 
收敛 到 零 ， 进 而 可 将 式 (4. 5.43, 处 展开 为 


n 


1% 58,4.) + G, — 84.) Dy YO ) 一 0 (4.5. 44) 
k=1 


k=1 


其 中 y (Yi; 0) 二 9y(Y; 9)/90。 重 新 整理 式 (4. 5. 44) 后 ， 有 


DIe 人 

6, ~ 6,. — +7 (4. 5.45) 
Dy Ou) 
k=l 





H FÂ- 是 IA, 的 解 ， 式 (4. 5. 45) 右 侧 的 分 子 只 有 VCY 6 ,) 一 项 。 将 分 
母 中 的 求 和 写成 
[Ewro] (4. 5. 46) 
根据 弱 大 数 定理 ， 有 
-LSY TaD 一 i( 依 概率 ， 


HP =E, Yr OSE (Ys; 0)} 是 每 个 样本 的 Fisher 信息 。 又 因为 名 1 一 9， 所 以 有 
下 面 的 表达 式 成 立 


Dy Xd) 一 (4. 5. 47) 
k=1 
综合 式 (4. 5. 45) 和 式 (4. 5. 47) 后 ， 似 然 方程 的 一 致 解 序列 可 近似 表示 为 
Bes + fae) (4. 5. 48) 
0 


至 此 ， 得 到 了 6 的 渐 近 递归 方程 ， 即 仅 需 要 利用 6_, 和 YY, 就 可 计算 出 6 。 
对 任意 初 值 和 ， 式 (4. 5. 48) 所 描述 的 递归 方程 可 写成 


入 二 n= 1,2, (4. 5. 49) 


Mg 
在 正则 性 约束 下 ， 它 与 最 大 似 然 估 计 具 有 相同 的 渐 近 性 能 ， 包 括 渐 近 一 致 性 和 渐 近 有 效 性 。 
事实 上 ， 上 述 递归 算法 是 基于 随机 近似 的 一 类 广义 递归 参数 估计 算法 的 特例 。 实 际 应 用 中 ， 
递归 算法 在 实时 参数 估计 和 在 线 运算 方面 具有 较 大 优势 。 对 其 进行 适当 修正 后 ， 也 能 应 用 到 
缓 变 参数 信号 的 实时 跟踪 领域 。 对 递归 算法 感 兴趣 的 读者 可 以 参考 Nevel’ son 和 Has’ minskii 
(1973) 的 专著 。 针 对 形 如 式 (4. 5. 9) 所 描述 的 时 变 问 题 ， 改 进 的 最 大 似 然 和 最 小 二 乘 递归 估计 
算法 可 供 利用 ， 具 体 请 参考 Ljung 和 Soderstrom(1982), LAK Goodwin 和 Sin(1984) 。 


4.6 习题 


1. 假设 随机 参数 9， 对 于 给 定 的 O= 0, LMM Y poly) = 0/2) l, yER 
服从 以 下 分 布 进一步 假设 9 有 先 验 概率 


125 


信号 检测 与 估计 


wt = (a 1<0<e 
其 他 
(a) 计算 观测 了 下 8 的 MAP 估计 ， 
b) 计算 观测 了 下 98 的 MMSE 估计 。 
. 假设 实 观测 Y 为 
Y=N+6S . 
其 中 ，N~N(0, 1), P(S=1)=P(S=—1) 
1/2, © 的 概率 密度 函数 为 
wits =e" 0<6<1 
0, 其 他 
其 中 , K = [| ra] 。 假 设 N、 OMSE 
独立 的 。 
(a) 计算 观测 了 二 y 时 98 的 MAP 估计 ， 
(b) HAWW Y= y itO 的 MMSE 估计 。 
. 假设 9 是 一 个 随机 参数 ， 其 先 验 概率 为 
ae”, @>0 
0, 6<0 
其 中 , GM a>., BRAWE Y 是 速率 为 9 的 
泊 松 分 布 随机 变量 


bby) = PY = y0 =0 








wg) = 


ee? 
y! 








sy == 0,1,2,+ 


计算 在 观测 量 Y 下 的 MMSE 和 MAP， 并 说 明 
MMES 的 计算 方法 。 
. 假设 有 一 个 由 随机 变量 Y 组 成 的 单一 观测 Y 
Y= N+Q@ 
其 中 ，NN 为 均值 为 0、 方 差 为 a 的 高 斯 分 布 随 
机 变量 。 参 数 9 是 独立 于 N 的 随机 变量 ， 其 概 
率 团 函 数 为 
sgrap A r= 
1/2, @=+1 
(a) 计算 Bmse 和 Bnp (需要 考虑 参数 集 A 属于 R) 。 
b) 在 什么 条 件 下 (a) 中 的 两 个 估计 值 近 似 
相等 ? 
. 假设 6 是 一 个 随机 参数 ， 其 先 验 概率 为 


"E 
0, 0<0 
而 且 Y 的 条 件 密度 为 
poly) = ser" ， 一 ce 亏 y 志 co 
计算 Bwse 和 Grnp。 


6. 假设 Ni 和 No 是 两 个 联合 高 斯 随机 变量 ,均值 


. 有 一 组 观测 量 Y, Yo, 


为 0, 方差 为 1， 相 关系 数 为 oC |p| 二 1)。 假 设 
观测 量 Y AMY, 为 


其 中 ，@ 为 独立 于 Ni AN, 的 随机 参数 ， 其 先 
验 密度 函数 为 

l/a, 0 € [0,a] 

0, 0 ¢ [0,a] 


wf) = 


其 中 , BA a>0. 

(a) 计算 @ 的 最 小 均 方 误差 估计 。 

(b) 计算 8 的 MAP 估计 。 

(c) 计算 @ 的 最 小 绝对 均值 误差 估计 。 


. 假设 日 均匀 分 布 在 (0，1) 区 间 ， 观 测量 Y= N 十 @， 


其 中 NN 独立 于 © 的 随机 变量 ， 其 密度 函数 为 
e", n>0 

Pp, = | 
: 0, n<0 


计算 pause ` Gass All Oar 


. (a) 考虑 习题 7 中 的 观测 量 模型 ， 其 先 验 服 从 习 


题 5。 计 算 基 于 了 的 @ 的 MMSE 和 MMAE 
估计 。 
(b) 计算 (a) 中 的 最 小 均 方 误差 。 
(c) 考虑 如 下 观测 模型 
Yi =N+0, k=1,,n 
H, Ni, Nos +, N, 和 @ 是 服从 独立 
同 分 布 的 单位 指数 分 布 的 随机 变量 。 计 算 
基于 的 © 的 MAP. 
> Yn 服从 独立 同 分 
Ai, 在 9=0 时 服从 给 定 的 概率 密度 函数 po， 
重 做 习题 1 。 


10. 推导 式 (4. 2. 47) 。 
11. 假设 观测 序列 


Yi = XN k=l1,.,n 
HP N, Noy ot, N, 为 相互 独立 的 均值 为 0、 
方差 为 o 的 高 斯 随机 变量 序列 ，X;，X,,，…， 
X, 由 下 式 定义 

Xo =0 

Xi =aXpe1, k= 1,.,n 
其 中 ,a 为 已 知 的 ，9 为 均值 为 0、 方 差 为 g 
的 高 斯 随机 参数 。 
(a) 假设 9 和 AN 是 相互 独立 的 ,计算 了， 

Yo, +, Y, 下 @ 的 MMSE 估 计 。 


(b) MS FH—hn=1, 2, e, 3, 表示 在 
Yi» Yo. s+, Y, FOW MMSE 估计 。 Ô, 
可 以 由 下 式 计算 
8, = Ki [Kes Bi Hayn lon = 1,2, 
(co) 求 取 一 个 表达 式 ， 使 得 其 均 方 误差 为 
e, = E{(6,-—0)*}, n= 1,2,.. 
H n=, goo, g +0, a<l, e~1, 


a 之 1 时 ， 分 别 会 有 什么 结论 ? 


. 假设 0 是 一 个 非 随机 参数 是 满足 9 之 1。 另 外 ， 


假设 给 定 的 0，Y, ，Y,，…，Y, 是 独立 同 分 布 
的 观测 量 ， 其 概率 密度 函数 为 

ore gi 

0, y<1 

求 出 2 的 一 个 具有 完备 分 布 族 的 充分 统计 量 ， 
并 对 其 进行 证 明 。 


fo(y)= 


. AR BES Te PBR on 次， 并 定义 观测 序列 为 


1, 如 果 第 上 次 结果 是 正面 

0, 如 果 第 六 次 结果 是 反面 

Hp, k=1, 2, +, n $ 9=P(Y,=1)， 

k=l; 2, ay n, 

(a) 计算 0 的 MVUE。 

Cb) 计算 0 ML 估计 ， 并 计算 其 偏差 和 方差 。 

O 计算 克拉 美 罗 下 限 ， 并 与 (a) 和 (b) 的 结果 
作 比 较 。 


n= 


. 推导 式 (4. 4. 22), 
- 假设 了 服从 泊 松 分 布 ， 求 出 变化 率 的 ML fi 


计 ， 计 算 偏差 、 方 差 和 克拉 美 罗 下 限 。 


. 假设 2 是 一 个 正 的 ( 非 随机 ) 参 数 ， 且 有 一 组 观测 


HY), wong Vie 其 中 ， 给 定 的 9， Yi» 
从 独立 同 分 布 ， 其 概率 密度 函数 为 


-, Y, AR 


ye 26 


no] CAMI’ 
0, y< 0 


其 中 M 是 已 知 的 正 整数 。 

(a) 求 出 9 的 ML 估计 。 

Cb) 计算 (a) 部 分 估计 的 偏差 和 方差 。 

Co) 计算 0 无 偏 估计 方差 的 克拉 美 罗 下 限 。 
Cd) ML 估计 是 一 致 的 吗 ? 是 否 有 效 ? 


y 宇 0 


. 假设 观测 两 个 联合 高 斯 随机 变量 Y A Y, Hy 


具有 0 均值 和 单位 方差 . 需要 估计 相关 系 
Wo=EVYY2}. s 


20. 


. 假设 存在 一 组 观测 序列 了 ，… 
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Ca) 求 出 基于 观测 (Yi ，Y, ) 的 p 的 ML 估计 
公式 。 
Cb) 计算 o 的 无 偏 估计 的 克拉 美 罗 下 限 。 
> Y, n, WE 
Ys = Ni +0, ok = lyn 
其 中 ，N= (CN ，…，N)T 是 0 均值 高 斯 随机 
向 量 ， 其 协 方差 矩阵 ESO, 9, oy 5, 是 一 个 
已 知 信和 号 序列 ， 而 且 9 是 ( 实 的 ) 非 随机 参数 。 
Ca) 求 出 参数 0 的 ML 估计 。 
Cb) 计算 Ca) 中 结果 的 偏差 和 方差 。 
Co) 计算 2 的 无 偏 估计 的 克拉 美 罗 下 限 ， 并 与 
(b) 的 结果 作 比 较 。 
dD 4 nof, Ou, 的 一 致 估计 是 什么 ? 例 
W, BEA ERX amo 使 得 
Sdn 对 于 所 及 成 立 
并 且 
Mai (E >b, 对 于 所 有 nn 成 立 


Hh, Amin (五 1) 表示 矩阵 互 :! 的 最 小 特 
征 值 。 


- 假设 2 是 一 个 正 的 非 随机 参数 ， 有 一 组 观测 序 


列 Yi, +, Y, 满足 

Yr =O? Nes R=1,250 5 

HP, N=(N,, +, Ni)" 是 0 均值 高 斯 随机 
向 量 ， 其 协 方差 矩阵 BEEZ. 
(a) FEF Y, +, Yn 的 9 的 ML 估计 。 
Cb) 证 明 ML 估计 是 无 偏 的 。 

Co) 计算 9 的 无 偏 估 计 的 克拉 美 罗 下 限 。 

Cd) 计算 9 的 ML 估计 的 方差 ， 并 与 克拉 美 罗 


下 限 作 比 较 。 
考虑 观测 模型 

Ys = 0P Ret Nes k= 12y%,n 
HP, s, s, oo, s 是 已 知 信号 ，N ，…， 
Nas Ris sry R, 是 服从 独立 同 分 布 的 N (0，1) 


的 随机 变量 ,而 且 0 二 0 是 一 个 未 知 参 数 。 

(a) RU Yi, +, Y, 估计 9 的 似 然 公 式 。 

Cb) 求 出 9 的 无 偏 估计 方差 的 克拉 美 罗 下 限 。 

Cc) 假设 %，…，sw 是 由 十 1 和 一 1 组 成 的 序 
列 ， 求 2 的 MLE。 

Cd) 计算 (c) 的 偏差 和 方差 ， 并 将 其 方差 值 与 
克拉 美 罗 下 限 作 比较 。 
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21. 


22. 
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(iY, AY, 是 包含 参数 4 的 相互 独立 泊 松 随 
机 变量 ， 定 义 参 数 0 为 
=e 
(a) 证 明 (Y: HYE 0 的 一 个 完备 充分 统计 量 
[假设 a 的 范围 为 (0，ce)]。 
(b) 定义 估计 人 为 
Gy) = SEFC) + £29 
其 中 ,定义 为 
1, y=0 
f(y= me «wed 
TERA OSE 0 的 无 偏 估计 。 
Cc) 求 出 0 的 MVUE( 提 示 : 
为 2A 的 泊 松 分 布 )。 
(d) 求 出 06 的 MLE, 判断 该 MLE 值 是 否 无 偏 
并 说 明 原 因 。 
Ce) 计算 9 的 无 偏 估计 方差 的 克拉 美 罗 下 限 。 
假设 9 二 0 是 感 兴趣 的 参数 ,90, Yi, s Y, 
是 一 组 服从 独立 同 分 布 的 观测 量 且 具有 边缘 分 
布 函数 
Fy(y) = [F], — æ< y< œ 
其 中 下 是 概率 密度 函数 为 了 的 已 知 分 布 函数 。 
(a) 证 明 下 式 是 0 的 MVUE 


(Yi 十 Ys ) 是 参数 


Guv (y) =— 二 > logFCy) 
k=1 


Cb) 利用 下 式 的 先 验 概 率 将 9 替换 为 一 个 随机 
变量 
w(0) = c™ exp(— c/0)/(T(m)6""") ,0 过 0 
Hp, c>OM m> 都 是 常数 。 利 用 
E(@)=c/(m—1), WHH Yi. s+» Y, 得 
到 的 @ 的 MMSE 估计 是 

ë— Segre) 
Sey 

(c) 根据 先 验 信息 比较 puv 和 se。 





Bus 9) = 


23. 假设 已 有 观测 


Y, = Asin(# 


= @)+ Ney R= lyon 








24. 


25. 


HP, N~NO, o DER. 

(a) 假设 A 和 更 是 非 随机 的 ,并且 有 ASO 和 
BEL[ 一 x，xj， 求 出 对 应 的 ML 估计 。 

(b) RI A AO ARPA thw. Hae 
率 为 


其 他 


re me #, ado 
0, a< 0 
其 中 8 为 已 知 参数 。 假设 A 和 更 独立 于 
N,， 找 出 A 和 5 的 MAP 估计。 
(c) 在 什么 条 件 下 Ca) 和 (b) 的 估计 近似 相等 ? 
BERAE O=0. Yi. +. Yn 是 服从 独立 同 分 
布 的 实 观测 ， 其 边缘 密度 函数 为 


0 re is y0 
为 CO 一 
0， y=0 
(a) 求 出 基于 Yi, e, Y, 的 0 的 ML 估计 ， 
计算 其 均值 和 方差 。 


Cb) 计算 9 的 无 偏 估计 方差 的 克拉 美 罗 下 限 。 

(c) 假设 8 均匀 分 布 在 (0，1j 范 围 , 求 出 9 的 
MAP 估计 。 

(d) n=3 时 ， 求 出 日 的 MMSE 估计 ， 假 设 具 
有 与 (c) 相 同 的 先 验 概率 。 

(e) n 二 2 时, 求 出 9 的 MMSE 估计 , 假设 具 
有 与 (c) 相 同 的 先 验 概率 。 

假设 对 于 给 定 的 9 二 9， 实 观测 Y 具有 以 下 概 

率 密度 函数 


6(y’ + 0y) 
ako = 2+36 ” 
ae 
(a) 假设 9 均匀 分 布 在 L0，1]， 求 出 MMSE 
估计 及 其 对 应 的 最 小 贝 叶 斯 风险 。 
(b) 对 于 (a) 中 的 8, 求 出 8 的 MAP 估计 和 
MMSE 估计 。 
Co) 求 出 0 的 最 大 似 然 估 计 并 计算 其 偏差 。 
Cd) 计算 9 的 无 偏 估计 方差 的 克拉 美 罗 下 限 。 
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第 ? 章 
信号 估计 基础 


5.1 引言 


第 4 章 讨论 了 静态 参数 估计 器 的 设计 方法 ， 即 时 不 变 参数 的 估计 器 设计 方法 。 而 在 许 
多 实际 应 用 中 ， 对 于 动态 或 者 时 变 参 数 的 估计 问题 也 很 感 兴趣 。 在 传统 术语 中 ， 动 态 参 数 
也 称 为 信号 ， 因 此 对 于 时 变 参 数 的 估计 问题 也 称 为 信号 估计 或 者 跟踪 问题 。 

许多 实际 应 用 中 都 会 出 现 信号 估计 问题 。 例 如 ， 雷 达 系 统 的 功能 之 一 是 对 通过 雷达 扫 
描 区 域 的 目标 进行 跟踪 。 这 意味 着 雷达 必须 在 连续 的 时 间 内 估计 目标 的 位 置 ( 也 可 能 是 速 
度 )。 由 于 目标 通常 是 运动 的 ， 且 位 置 测量 受 噪声 影响 ， 因 此 这 是 典型 的 信号 估计 问题 。 
模拟 通信 是 信号 估计 的 另 一 典型 应 用 ， 它 一 般 采 用 调幅 、 调 频 或 者 调 相 的 正弦 波 来 传输 模拟 
信息 (包括 音频 、 视 频 等 )。 在 这 种 情况 下 ， 接 收 机 的 作用 是 从 包含 噪声 的 接收 波形 中 尽 可 能 
高 保 真 地 检测 出 发 射 信号 。 同 理 ， 由 于 发 送信 号 具有 时 变性 ， 这 也 属于 信号 估计 的 问题 。 

在 信号 估计 中 ， 对 检测 模型 进行 统计 建 模 时 需要 考虑 参数 的 动态 特性 ， 尤 其 是 需要 从 
统计 意义 上 对 信号 的 动态 特性 (变化 快慢 ， 以 哪 种 方式 变化 等 ) 进 行 建 模 ， 以 获得 有 意义 的 
信号 估计 过 程 。 动 态 参数 估计 器 的 预期 性 能 也 不 同 于 静态 参数 。 特 别 地 ， 由 于 信和 号 的 时 变 
性 ， 不 能 期 望 通过 观测 无 穷 多 样本 以 得 到 信号 的 准确 估计 。 

本 章 讨论 信号 估计 的 基本 思想 。5. 2 节 讨 论 Kalman-Bucy 滤波 ， 它 是 通过 有 限 维 线性 
动态 模型 综合 得 到 的 ， 是 一 种 非常 实用 的 信和 号 估计 算法 。5. 3 节 介 绍 对 观测 样本 进行 线性 
变换 的 信号 估计 方法 。5. 4 节 介 绍 线 性 估计 的 一 个 特例 ， 即 Wiener-Kolmogorov 滤波 器 ， 
它 是 估计 时 域 平稳 信号 的 一 种 方法 。 


5.2 Kalman-Bucy 滤波 


随时 间 变 化 的 物理 量 可 建 模 成 如 下 形式 

Xiu = fo XU,), n=0,1,. 《5. 2. 1) 
HH, Xo, X, CR” 代表 研究 对 象 ， 它 们 是 m 维 实 空间 的 向 量 序 列 ; Uo, Ui, + ER’ 
Es 维 实 空间 的 激励 向 量 序列 ; f。，f1，… 表 示 将 RXR 映射 到 R” 的 函数 序列 (可 以 是 
时 变 函 数 )。 式 (5. 2.1) 是 动态 系统 的 典型 例子 ， 每 个 XX, 代表 的 是 系统 在 时 刻 n HRA, 
FEHU, 代表 的 是 在 时 刻 n 对 系统 的 输入 [参见 Desoer(1970)]。 在 一 个 动态 系统 中 ， 对 于 
任意 固定 的 时 刻 & Al, X 将 被 & 时 刻 的 状态 (Xi) 和 时 刻 至 1 一 1 时 刻 的 系统 输入 
QU,- DEME. EA, HARG. 2.1) 估 计 {X.)} 过 :不 仅 需 要 一 定形 式 的 输入 激励 序 
列 ， 而 且 需 要 初始 条 件 Xi 也 具有 某 种 形式 。 如 果 输 入 或 者 初始 条 件 是 随机 的 ， 那 么 系统 
的 状态 向 量 X» X, AMILA, WER. 2. 1) 为 随机 系统 。 
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AG. 2.1) 描 述 了 一 个 系统 的 状态 更 新 过 程 ， 也 称 为 系统 的 状态 方程 。 系 统 通常 还 有 
一 个 & 维 输出 序列 Z。，Z,，… ER*， 输 出 序列 由 输出 方程 给 出 
Z, = h,(X,), n=0,1l, (5. 2. 2) 
HP, h, 将 R” 映射 到 R*。 因 此 整个 系统 完成 从 初始 状态 X MAFI U, n 到 输出 序 
列 {Z,} 汪 ,的 映射 。 
下 面 将 给 出 由 式 (5. 2. 1) 和 式 (5. 2. 2) 所 描述 的 系统 的 例子 。 
一 维 运动 
假设 需要 对 一 个 在 上 之 0 时 具有 加 速度 A, 的 质点 的 运动 过 程 进行 建 模 。 在 任意 时 刻 上 ， 质 
点 的 位 置 坐标 P, 和 速度 V, 分 别 满足 方程 V, 二 dP,/dt 和 A, 二 dV,/dt。 假 设 每 间隔 T, 时 间 观 
察 一 次 质点 的 位 置 坐标 ， 并 为 其 建立 形 如 式 (5. 2.1) 和 (5. 2. 2) 的 模型 ， 以 此 来 观察 质点 从 一 
个 时 刻 到 另 一 个 时 刻 的 位 置 变化 。 假 设 观 察 时 间 间 隔 人 非常 敌 ， 其 一 阶 泰勒 展开 形式 为 
l Prat, = Par, +TV r, (5. 2. 3a) 
| Ver ~ Var, + TAr, (5. 2. 3b) 
ARG. 2.3) 可 以 看 出 ， 需 要 两 个 状态 变量 来 描述 质点 的 运动 ， 即 位 置 和 速度 。 定 义 
Z, =X n= Par ，X 一 Vir > U, 一 Ar ， 那 么 一 维 运动 可 以 用 状态 方程 近似 表示 为 


Xiu = FX, +GU,, n=0,1,. (5. 2. 4) 
输出 方程 为 
Z, = HX,, n= 0,1,. (5. 2. 5) 
其 中 , FF 是 一 个 2X2 的 矩阵 
和 
F= | | (5. 2. 6) 
ð l 
GÆ 2X1 WERE 
0 
Tas (2 TD 
Hi 
H Æ 1X2 的 和 矩阵 
H=(1 0) (5. 2. 8) 
Ate. APA m=2, s=1, R=1, HAMAS, Ah, 分 别 为 
f,(X,U) == FX + Gu (5. 2. 9) 
和 
h, (X) = HX (5. 2.10) 
下 面 将 进一步 讨论 这 个 特殊 模型 。 < 


在 许多 实际 应 用 中 ， 经 常会 面 对 如 下 问题 ， 随 机 系统 一 段 时 间 (z 时 间 内 ) 的 输出 通常 
伴 有 观测 噪声 (或 测量 噪声 ) ， 需 要 估计 系统 v 时 刻 的 状态 。 对 应 的 观测 序列 为 
Y, = Z, +V,» n=0,1,",t (3.25.11) 
需要 通过 这 个 序列 估计 XY. Æ 5.2.11) F, FRI VO. Vis RaW ERE. 
式 (5. 2. 11) 通 常 称 为 测量 方程 。 若 一 上 ， 那 么 这 个 估计 问题 为 滤波 问题 ; Au<t, RAF 
滑 问 题 ; 若 ut, 则 为 预测 问题 。 对 于 这 三 类 问题 ， 均 可 采用 状态 估计 这 一 术语 。 
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如 前 所 述 ， 状 态 估计 问题 在 许多 实际 应 用 中 都 会 出 现 。 例 如 ， 在 “ 边 跟踪 边 扫描 ”雷达 
中 ， 雷 达 对 目标 位 置 的 测量 是 在 每 次 扫描 时 刻 获得 的 。 与 例 5. 2. 1( 具 有 随机 加 速度 ) 相 似 ， 
这 种 测量 实际 上 也 是 在 随机 系统 噪声 条 件 下 完成 的 。 在 每 次 扫描 时 刻 ， 雷 达 和 希望 能 够 对 目 
标 当 前 时 刻 的 位 置 进行 估计 ， 并 且 预 测 目标 下 一 个 时 刻 的 位 置 。 即 在 扫描 时 刻 上， 根据 目 
标 过 去 时 刻 的 状态 ， 估 计 目 标 在 4==t 和 zx 一 上 十 1 时 刻 的 状态 (后 面 将 会 进一步 讨论 这 种 特 
殊 的 应 用 )。 

状态 估计 在 自动 控制 系统 中 也 有 所 应 用 ， 如 飞机 飞行 控制 、 化 学 过 程控 制 等 。 在 飞行 
控制 中 ， 状 态 是 飞机 的 位 置 坐 标 和 描述 飞机 角度 偏转 的 姿态 坐标 ( 即 横 滚 、 俯 你 和 偏 航 ) 。 
在 这 种 情况 下 ， 状 态 方程 描述 的 是 飞机 的 动态 过 程 ， 此 时 的 输入 可 能 是 施加 在 飞机 上 的 控 
制 力 和 随机 力 ( 例 如 满 流 )。 在 化 学 过 程控 制 中 ， 状 态 变 量 可 能 是 温度 和 其 他 化 学 物品 的 浓 
度 ， 状 态 方程 描述 的 是 一 个 化 学 反应 过 程 。 当 然 ， 许 多 其 他 应 用 实例 也 可 以 应 用 本 章 的 模 
型 进行 描述 。 

如 果 对 上 述 模型 中 的 状态 估计 总 . 采用 均 方 误差 性 能 E{ |, 一 X, 1} 来 衡量 ， 从 第 4 章 
(模型 4. 2. 4) 可 知 ， 最 优 估 计 为 条 件 均值 

X, = E{X, |Yo,*…,Y,)} (5. 2. 12) 
当然 ， 对 于 固定 的 时 刻 u 和 上， 这 个 问题 和 第 4 章 讨 论 的 向 量 估 计 问 题 相 同 。 随 着 时 间 的 
增加 ， 如 何 对 信和 号 进行 实时 估计 就 显得 尤为 重要 。 数 据 随时 间 上 线性 增加 ， 式 (5. 2. 12) 得 
到 的 条 件 均值 估计 将 失去 实际 意义 ， 除 非 式 (5. 2. 12) 的 估计 器 具有 特殊 结构 ， 使 得 信号 估 
计 过 程 能 够 高 效 完成 。 因 此 ,在 进一步 考虑 式 (5.2.12) 之 前 , 需要 对 式 (5.2.1)、 
式 (5. 2.2)、 式 (5. 2. 11) 的 模型 进行 一 些 合适 的 限制 约束 。 
一 种 约束 是 假设 系统 为 一 个 线性 随机 系统 ， 此 时 状态 方程 和 观测 方程 的 形式 为 
KX = F,X,+G,U,, n=0,1,. (5. 2. 13a) 
Y, = H,X, +V,, n= 0,1," (5. 2. 13b) 
HH, F, G, AH, 的 维 数 分 别 是 mXm、mXs 和 kXm。 式 (5. 2.13a) 的 线性 模型 对 于 很 
多 应 用 都 是 适用 的 。 例 如 ， 在 例 5. 2. 1 的 一 维 运动 模型 (二 维和 三 维 与 之 类 似 ) 中 ， 系 统 是 
一 个 加 速度 为 随机 变量 的 线性 随机 系统 。 对 于 许多 非 线性 系统 而 言 ， 当 状态 变量 表示 系统 
实际 轨迹 与 期 望 轨迹 的 偏差 时 ， 那 么 这 个 非 线 性 系统 可 以 采用 线性 系统 进行 逼近 。 特 别 
地 ， 通 过 对 非 线性 函数 f, 进行 泰勒 级 数 展开 ， 可 将 许多 系统 线性 化 。 

为 简化 式 (5. 2. 12) ， 进 一 步 假设 输入 序列 {D,) 沁 ,和 观测 噪声 序列 {V,} 关 "是 独立 的 零 
均值 高 斯 随机 向 量 。 此 外 ， 假 设 初始 条 件 X 也 是 高 斯 随机 向 量 ， 且 独立 于 {U, ro 和 
{V,}。。 事 实 上 ， 序 列 {U,)} 芝 和 {V。) 汪 独立 的 假设 条 件 可 以 适当 放宽 ， 零 均值 的 假设 也 
仅仅 是 为 了 简化 分 析 。 相 反 ， 高 斯 假设 是 非常 关键 的 。 并 且 ， 在 许多 模型 中 ， 这 些 假设 都 
是 合理 的 。 因 为 观测 噪声 经 常 是 由 电子 传感器 中 的 高 斯 热 噪声 引起 ， 而 由 汕 流 引起 的 随机 
输入 通常 也 符合 高 斯 统计 特性 。 此 外 ， 事 实证 明 ， 如 果 可 以 接受 所 有 线性 估计 器 中 的 最 优 
估计 器 ， 那 么 高 斯 假设 也 可 以 适当 放宽 。 下 面 将 具体 讨论 这 个 问题 。 

基于 上 述 假设 ， 从 计算 效率 的 角度 来 看 ， 式 (5. 2.12) 中 的 条 件 均值 状态 估计 器 具有 很 
好 的 形式 。 这 个 形式 在 其 他 的 许多 状态 估计 间 题 中 已 经 出 现 ， 本 节 考 虑 滤波 问题 (4 二 四 和 
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单 步 预测 问题 (4 二 +t 十 1)， 因 为 滤波 和 单 步 预测 在 实际 应 用 中 最 常见 。 下 文 给 出 了 这 两 个 
问题 的 具体 描述 。 
命题 5. 2. 1 离散 时 间 Kalman-Bucy 滤波 
EAC. 2. 13) 所 描述 的 线性 随机 系统 中 ， 假 设 1U,} 汪 和 {VY，,)} 汪 ,是 相互 独立 的 零 均 值 
BRAS, RAF RMMBRAX, NEHRA, AEX, |Y) FX, AEX Y) 
的 递归 计算 式 为 
Ê = Êa PRO —H, a) t= Oe (5. 2. 14a) ` 
和 
ee ， (5. 2. 14b) 
KP, mik- =mAE{X}. Dm A cov(X, |Y), R,Acov(V,), #HK, TR 
示 为 
K, = Zeya H7 GES 1 HT +R 5, 2. 15) 
注意 , X a SEX |Y), PE AY RATAA X n HAZE, 
该 矩阵 和 滤波 误差 矩阵 Dj A cov(X, |Yi) 的 递归 计算 式 为 
Ep = Xj KH X ji t= Orla (5. 2. 16a) 
Josj = Wit +GQ,G7, t=0, ly (5. 2. 16b) 
其 中 ， 初 始 和 矩阵 为 现 | .1 =D =covlX™%), Q, 是 上 时 刻 状态 输入 的 协 方差 矩阵 ， 即 Q@ =covU,). 
证 明 为 了 证 明 这 个 命题 的 正确 性 ， 首 先 直接 给 出 式 (5. 2. 14b) 和 式 (5. 2.16b)， 然 后 
利用 归纳 法 证 明 式 (5. 2. 14a) 和 式 (5. 2. 16a) 。 结 合 状 态 方 程 ， 式 (5. 2. 14b) 可 表示 为 
Xi), =E( Xu |Yi} = E{FX,++ GU, |Y} 
=F,E (X, |Y} + G.E{U, |Y; } 
=F, Å, |, +GE{U, |Y; } (5. 2.17) 
其 中 ， 第 三 个 等 式 根 据 期 望 的 线性 性 质 得 到 ， 最 后 一 个 等 式 由 蕊 |, 的 定义 直接 得 到 。 注 
意 ,， HX AVS Me. Mew XO. UT 和 Vs 确定， 它们 都 与 U, 相 独 立 。 换 言 之 ， 
式 (5. 2.17) 中 的 第 二 项 是 条 件 无 关 的 ， 即 EU, |Y} =E(U,)}=0,. RAR G. 2.1D RA 
AC. 2.14b) 成 立 。 类 似 地 ， 考 虑 U, hoary xX AY, Alte 
Xaa j: —cov Xu |Y) = cov(F,X, + GU, | Yi) 
=cov(F,X, |Ys) + cov(G,U, | Y5) 
=cov(F,X, | Yi) + cov(G,U,) (5: 2 18) 
利用 cov(AX) =Acov(X) A! FAA Z|. AG, 的 定义 ， 可 得 
Xm: = F,cov(X, |¥})F? + G,covU,)G? = F,Z,|,.F7 + G.Q,.G? (5. 2.19) 
即 式 (5. 2. 16b) 得 证 。 
至 此 已 经 证 明 式 (5. 2. 14b) 和 式 (5. 2. 16b) 成 立 。 现 在 采用 归纳 法 证 明 式 (5. 2. 14a) 和 
式 (5. 2. 16a) 也 成 立 。 为 此 ， 必 须 证 明 对 于 三 0 和 任意 的 加 过 0， 当 三 一 1 成 立时 S to 





日 ”为 便于 表示 ， 将 集合 Y。，…，Ys RIRH Yi >a), 
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也 成 立 。 当 t= 二 0 时 ， 测 量 方程 为 
Y, = HX, +V, (5. 2. 20) 
由 于 X, AV, 是 相互 独立 的 高 斯 向 量 ， 利 用 Y。 对 X 进行 估计 符合 例 4. 2.3 中 讨论 的 线性 
估计 模型 。 特 别 地 ， 由 于 Xom, DDA VS~N O, R), HRA. 2. 53) 可 以 得 到 
Ko A E{X.|¥.} =m, +X) Hi HE HT +R.) ' (Ys — Hom, ) 
=X). + Ko (Yo — H, $j) (5, 2. 21) 
其 中 ， Xj .=m, K= H (HX) HHR) AY) 1 =D 与 定理 中 的 定义 相同 。 
式 (5. 2. 21) 是 式 (5. 2. 14a) F t= 0 时 的 情形 。 从 式 (5. 2. 21) 得 到 的 协 方差 矩阵 可 表示 为 
Dojo = By — Ey Hi CAE, H] +R) H, D = Dja —KoHo Epi G. 2. 22) 
式 (5. 2. 22) 对 应 式 (5. 2. 16a) 在 上 一 0 时 的 形式 。 

为 完成 证 明 过 程 ， 假 设 式 (5. 2. 14a) 和 式 (5. 2. 16a) 在 一 加 一 1 时 成 立 。 由 于 X, 和 
Yo “是 由 高 斯 向 量 X U ”和 V8“ 经 过 线性 变换 得 到 的 ， 因 此 X, MY? 服从 联合 高 
斯 分 布 ， 且 给 定 Y4 o, X 服从 条 件 高 斯 分 布 。 特 别 地 ， 在 给 定 Y8 | WATER, X, 的 条 
件 分 布 为 Xa ~N R ipao Enie )。 此 外 ，V, :也 是 独立 于 Y9 ”的 高 斯 变量 ， 因 此 在 
给 定 Y? “的 情况 下 ， 也 可 认为 它 是 服从 条 件 高 斯 分 布 的 ， 且 其 条 件 分 布 为 N (0，R, )。 
又 因为 V 独立 于 Xo、US “和 Ve ”， 因 此 在 给 定 Y? “的 情况 下 ， 它 也 是 条 件 独立 于 X, 
的 。 综 上 所 述 ， 在 给 定 Y? “的 条 件 下 ， 观 测 方 程 为 

Y, = H, X +V, (5. 2. 23) 
AG. 2.23) 为 高 斯 线性 方程 ， 与 例 4.2.3 中 所 讨论 的 方程 具有 相同 的 形式 。 在 条 件 模 型 
式 (5. 2.23) 中 ， 通 过 计算 给 定 Y, 情况 下 X 的 条 件 期 望 ， 可 得 关 |, ASR. 2. 53) ， 有 
Ki ig, = Ma ht HT CH Sie oy BP PRO, — H, By i) (5.2.24) 
RMT —SSESE, BITES EYE WREEF, $ 的 条 件 分 布 是 NOX, |， 1， 加, 1 -1) 0 
结合 K, 的 定义 易 知 : HOS. 2.24) ENO. 2. 14a) FE t= t 时 的 特殊 情形 。 类 似 地 ， 通 过 
式 (4.2.54) 和 上 面 的 结论 ， 可 得 式 (5.2.16a) 成 立 。 由 此 多 ,可 由 式 (5.2.14a) 利 用 
Å ，， 得到， 公式 马 可 以 通过 式 (5. 2. 16a) ATE, |. :得 到 。 并 且 假 设 式 (5. 2. 14a) 和 
式 (5. 2. 16a) 对 于 :一 加 一 1 是 成 立 的 ， 可 得 ee 也 成 立 。 至 此 完成 命题 的 全 部 证 明 。 口 





命题 5. 2.1 所 描述 的 估计 方法 称 为 离 
散 时 间 Kalman-Bucy 滤波 器 ， 因 为 它 是 
R. E. Kalman 和 R. S. Bucy 在 20 世纪 50 年 
代 末 提出 的 连续 时 间 弟 归 状 态 估计 的 离散 
化 表示 。 图 5.2.1 中 给 出 了 这 一 估计 方法 | 
的 结构 ， 可 以 看 出 这 种 结构 的 计算 非常 简 ”图 5.2.1 离散 时 间 Kalman Bucy 滤波 器 
便 。 特 别 地 ， 虽 然 估 计 器 忒 , ,或 者 充 , ,依赖 于 全 部 数据 Y， 但 是 在 每 一 步 中 它们 只 由 最 
近 的 观测 值 Y, 和 前 一 个 预测 值 多 , ，, 决 定 。 因 此 ， 与 存储 (十 Dk 维 向 量 Y,( 这 将 带 来 线性 
增 大 的 存储 需要 和 计算 负担 ) 不 同 ， 该 估计 器 仅 需要 存储 和 更 新 m EX, HT AE 
的 其 他 部 分 (包括 卡尔 曼 增益 矩阵 K,) 独 立 于 观测 数据 ， 仅 与 模型 参数 有 关 。 
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递归 公式 (5. 2. 14) 和 式 (5. 2. 16) 都 包含 两 个 基本 步骤 。 第 一 步 是 测量 值 更 新 [ 式 (5. 2. 14a) 和 
IG. 2. 16a) ]， 它 们 提供 了 在 给 定 Y' 和 当前 观测 值 Y, 的 条 件 下 , X, 的 状态 估计 和 协 方差 矩阵 
估计 的 更 新 方法 。 第 二 步 为 时 间 更 新 [ 式 (5. 2. 14b) 和 式 (5. 2. 16b)]， 它 提供 了 根据 当前 时 刻 测量 
MEL YS + 将 估计 的 状态 和 协 方差 矩阵 投影 到 下 一 时 刻 :十 1 的 更 新 方法 。 考 察 式 (5. 2. 1) 中 定理 的 
证 明 过 程 ， 会 发 现时 间 更 新 完全 来 自 状态 方程 ， 而 测量 值 更 新 来 自 测 量 方程 。 

进一步 考虑 测量 更 新 方程 (5. 2. 14a) 。 特 别 地 ， 估 计 值 总 , ,是 在 给 定 Y; 的 条 件 下 X, 的 
最 优 估计 器 ， 也 可 以 看 作 是 基于 过 去 时 间 龟 ,| 得 到 的 X, 的 最 优 估计 器 与 一 个 修正 项 K,， 
(Y, 一 H, Å 1) 的 组 合 。 在 修正 项 中 出 现 的 向 量 LAK,(Y, 一 H, 免 ,，,) 有 一 个 非常 有 意思 
的 解释 。 已 知 Y= 二 HX 二 Vi, 且 Y AE{Y, | Yp }+HHE (X, | YEO} +ECY, | Yi!}= 
H: Š, ao ®BMAT V: 独立 于 Yi 且 均 值 为 0 的 性 质 。 因 此 工 =Y, 一 语 ,, ,表示 由 过 去 
(E Yo TW Y, 时 产生 的 误差 。 该 误差 通常 称 为 预测 残余 或 者 新 息 ， 后 一 种 叫 法 来 源 于 这 
一 事实 : HY, BH 

Y,=Y,, +L (5. 2. 25) 
Y, ,1 可 理解 为 Y, 中 可 以 由 过 去 的 量 估 计 得 到 的 部 分 ， 而 工 代表 Y 中 不 能 被 预测 的 部 分 。 
这 样 ，I, 中 包含 的 是 由 第 7 个 观测 值 带 来 的 新 的 信息 ， 因 此 称 为 “新 息 ”。( 这 个 序列 在 第 3 
章 的 高 斯 检测 问题 中 也 出 现 过 。) 

不 难 发 现 ， 新 息 序 列 {I,) 详 ,是 一 个 零 均 值 的 独立 高 斯 随机 向 量 。 首 先 ，{I})2, 是 高 斯 
序列 ， 这 是 因为 {Y,) 宇 ,是 高 斯 序列 并 且 { 工 ) 六 ,是 {Y,)o 的 线性 变换 。 其 次 ， 应 用 条 件 均值 
AS SS EE REI CE{Y} =E(E{Y | X), T L 的 均值 为 

E{I,} = E{Y, — E{Y, | Yo'}} = E{Y,} — E{Y,} =0 
最 后 ， 利 用 E{I) 二 0， 有 
cov(I, L) = E{1,17} 

假设 s<t, 得 

E{LI7} = E{E{LI? | ¥5}} = E{E{L | Yo}I7} (5. 2. 26) 
其 中 ,第 二 个 等 式 的 根据 为 I 在 给 定 Y 的 条 件 下 是 一 个 常数 。 注 意 

E({1,|¥3} = E{Y, |Y) — E{E{Y, | Yp Yi) = E{Y, |¥i} — E{Y, |¥i} = 0 

可 见 cov, 1I=0. MF 二: 上， 根据 对 称 参数 可 得 相同 的 结果 。 因 此 ， 新 息 向 量 间 是 无 
关 的 ， 又 因为 它们 服从 联合 高 斯 分 布 ， 因 此 它们 是 独立 的 。 

综合 以 上 讨论 以 及 式 (5. 2.25)， 可 以 再 次 明确 : Y, 包含 两 部 分 ,了 , ,1 是 完全 依赖 于 
过 去 时 刻 的 可 预测 部 分 ， 而 另 一 部 分 I 完全 独立 于 过 去 时 刻 。 这 意味 着 新 息 序列 提供 了 一 
组 独立 的 观测 序列 ， 且 这 一 观测 序列 等 价 于 原始 集合 {Y,}E。。 换 言 之 ， 构 造 新 息 序列 对 应 
估计 器 的 预 白化 过 程 ， 这 在 第 3 章 中 也 提 到 过 ?” 。 

下 面 举例 说 明 Kalman-Bucy 的 特性 。 





O 注意 ,向 量 工 并 非 独 立 分 布 的 。 易 知 cov) =H E-H, +R AD, Abie De I 可 产生 服从 N O, 
也 独立 同 分 布 的 观测 序列 ， 即 {I} 总 o。。 其 中 De Ra 3.2 节 讨 论 的 矩阵 了 的 平方 根 。 增 益 K, 可 以 写 为 
E- H,DrY?D7"?, Wik Kalman-Bucy 滤波 器 实际 上 给 出 了 等 价 于 观测 序列 的 白色 序列 。 
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时 不 变 单 变 量 情况 
说 明 卡 尔 曼 滤波 器 的 最 简单 模型 是 所 有 参数 都 独立 于 时 间 的 一 维 ( 盖 一 & 一 1) 模型 。 特 
别 地 ， 考 虑 如 下 模型 
Xai = fX,+U,, n=0,1, 
Y, =AX,+Vi, n=0,1, 
Hp, (U, bio AIV, } 0 FE 57 DD As BLE EFF, PRIA OO, DARIN OO. r), B 
Xo~N (m, Zo)» IFA f, h, q, rA 都 是 标量 。 
这 种 情况 下 的 递归 估计 是 
Rig, =F Rye E= 0l (5. 2. 28a) 


(5. 2. 27) 


和 


Roe = aa HK (Y, —h Res t= 0,1,. (5. 2. 28b) 





H K, 由 下 式 给 出 


Zami h _ 1 PATS 
大 ii 十 B Zane trik 


从 式 (5. 2. 29) 的 表达 式 中 可 以 看 出 卡尔 曼 增 益 在 测量 更 新 和 卡尔 曼 滤波 器 中 的 作用 。 特 别 
地 ，5, 1, 是 由 Yo (iP X, 产生 的 最 小 均 方 误差 (MSE)， 并 且 比 值 xr/hr 是 观测 值 中 噪声 
功率 的 度量 。 这 是 因为 ， 在 h 关 0 MM, Y,/h=X,+V./h 等 价 于 对 YY, 的 测量 结果 ， 且 V,/h 
的 方差 是 r/h*。 从 这 些 观测 结果 可 以 发 现 ， 如 果 X, 的 预测 值 比 X, 的 当前 观测 值 更 准确 
CBN 2X.) .-1Kr/h’), BRAM Ka HER, ~X, 1. MAS, SX 的 当前 观测 值 相 
th. X, 的 预测 值 更 可 信 ， 因 此 保留 其 预测 值 。 相 反 ， 如 果 当 前 观测 值 比 预测 值 更 准确 ( 即 
En >r/h’), BARR BH K a~1/h HH, .~Y./h, WM, MRA, TRB 
测量 值 。 当 然 ， 在 这 两 种 极端 情况 之 间 ， 新 息 的 结果 由 两 者 的 综合 平衡 来 决定 。 虽 然 向 量 
不 能 像 标量 那样 进行 参数 化 ， 但 其 更 新 方式 类 似 。 

为 比较 测量 更 新 与 例 4. 2. 2 中 讨论 的 贝 叶 斯 估计 的 异同 ， 现 将 测量 更 新 方程 改写 为 
He, XÂ =Y,/h, 5 a VHB Al a Hh’ /r, HERG. 2. 30) MASK C4. 2. 34) 可 
知 : X, 依赖 于 YS WARE ART OLA X, OFC ACB CX, Be], rE 
vd’ 的 值 来 平衡 观测 值 Y, 和 先 验 数 据 。( 这 也 正 是 命题 5. 2. 1 中 测量 更 新 过 程 的 本 质 。) 

对 于 这 种 时 不 变 的 标量 模型 ， 估 计 方 差 的 时 间 更 新 和 测量 更 新 变 为 


K, = 





(5. 2. 29) 


C5. 2. 30) 


Leap = f Ln, 十 9 (5. 2. 31a) 
和 
Zu = 7- (5. 2. 31b) 
ee +1 


注意 ， 可 以 通过 消除 这 些 方程 之 间 的 耦合 来 得 到 每 个 变量 单独 的 递归 方程 。 例如 ， 将 
式 (5. 2. 31b) 代 入 式 (5. 2. 31a) 可 得 递归 方程 (初始 值 是 且 | 1 =D) 
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f Bie | 
PE. 下 (5, 2.32) 


AG. 2. 32) 中 存在 一 个 问题 : 随 着 时 间 的 增加 ， 通 过 递归 产生 的 序列 是 否 会 逼近 于 常量 ? 
若是 ， 那 么 卡尔 曼 增 益 也 会 趋 近 于 常量 ， 并 且 Kalman-Bucy 滤波 器 将 会 收敛 到 时 不 变 系 
统 。 E Xm BEM AS, 那么 互 -必须 满足 





Dee = 

















fe 
Bis PE FI q C5. 2. 33) 
这 是 因为 Dt1 AND, | ,1 都 趋 近 于 pom o 显然 ， sh. Lie 33) 是 二 次 方程 ， 存在 唯一 正解 
1 T 2 i | 4rq a r 2 
Zn = 5 [pa 2 a] are: | pr Pi +e (5. 2. 34) 
结合 式 (5. 2. 32) 和 式 (5. 2. 33), 7° 
z2 — 2 Zeii pan | 2 sz 一 eee 
| ai Zao | — f W3Sy1/r+1 WE./r+l < J | Dick | 9 t= 0,1, 
55, 2. 35) 
进而 有 下 面 的 表达 式 成 立 
| Sain — Be |S POO | BE] (5. 2. 36) 


若 | /| 到 1， 和 那么 式 (5. 2. 36) 意 味 着 当 too, Daj. AEX Kalman-Bucy 滤波 器 
来 说 ， 条 件 | 了 | 二 1 是 充分 的 ， 且 能 够 使 滤波 器 性 能 达到 稳 态 。[ 注 意 ， 条件 | 了 | 二 1 也 是 
式 (5. 2. 27) 所 描述 的 模型 满足 渐 近 稳定 的 条 件 J < 

跟踪 扫描 雷达 

雷达 的 常用 功能 是 定期 对 一 些 区 域 进行 扫描 (这 些 区 域 称 为 空域 ;， 并 在 每 个 扫描 角度 
进行 位 置 测 量 以 对 不 同 目 标 进 行 轨迹 跟踪 。 雷 达 也 会 对 目标 下 一 次 扫描 时 的 位 置 进行 预 
测 。 由 于 目标 的 移动 轨迹 对 雷达 是 未 知 的 ， 从 设计 最 优 跟 踪 算 法 的 角度 出 发 ， 通常 假设 运 
动 目标 具有 随机 加 速度 。 这 类 运动 的 一 个 简单 模型 是 考虑 加 速度 在 各 次 扫描 间 是 独立 同 分 
布 的 高 斯 过 程 。 目 标 运 动 通常 是 三 维 的 ， 简 单 起 见 ， 本 书 仅 在 一 维 空 间 中 进行 讨论 。 特 别 
地 ， 假 设 状态 方程 和 量 测 方程 如 下 


Prt H H | 0 | 
= + A, 
wg | 0 工人 La T; 


P 
[e 
Y 


n 
n 


C5: 2a 32) 
Y, =Q 0) 





其 中 ，P, AV, 分 别 表示 第 n 次 扫描 时 目标 的 位 置 和 径 向 速度 ，T, 是 雷达 完成 每 次 扫描 所 
需 的 时 间 ，A, 是 第 n 次 扫描 时 目标 的 加 速度 ，Y, 是 第 n 次 观测 时 的 目标 位 置 ，e, 是 测量 
误差 。( 对 于 三 维 空间 的 跟踪 问题 ， 需 要 采用 六 状态 、 三 测量 模型 。 不 过 ， 如 果 三 维 运动 
的 加 速度 和 测量 噪声 相互 独立 ， 则 可 以 对 三 个 维度 分 别 进行 跟踪 。) 





OQ BBs. 2. 35) ， 可 定义 glr)=x/lax+1), Hp a=h?/r, MH RM EM, MER 2 Fly, 4 
artsy iit, A 
| g(x) — gly) |=|2a—-yll 2’ | 
当 ESO mt, g (=1/(aét+1)? 满足 | g (O | <1. AWE) -1>0 A so， 所 以 
| gl | 1-1) —g (Bo) | < | Zt | e1 — Xoo | 
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假设 所 有 数据 都 服从 具有 时 不 变 特性 的 高 斯 分 布 ， 则 最 优 跟 踪 / 预 测 方程 为 





























P cai By, T; Vii, 
i = A (5: 2 38) 
V ale Vi 
和 
Py, Pos Kia i 
A = PA (E= Pied (5. 2.39) 
Vu Vori t,2 
增益 矩阵 K, 是 一 个 2X1 的 向 量 。 它 由 下 式 给 出 
K,i pa ı(1,1) +r) 
= (5: 2:40) 
K, Zie C25 1I C iia a DD +r) 








其 中 , Dk, DEEE D WRR-DATH, r 是 测量 噪声 的 方差 。 当 然 ， 增 益 矩 
阵 可 根据 定理 5. 2. 1 通过 递归 计算 得 到 。 

为 降低 跟踪 方程 的 计算 复杂 度 ， 可 用 时 不 变 滤 波 器 代替 式 (5.2.39) 中 的 时 变 滤波 
器 ， 即 
Bi Py, a ; 
o. r PLET (5. 2. 41) 
其 中 ，a 和 8 都 是 常数 。 该 跟踪 器 也 称 为 ap RIRE., SMa 和 8 需要 根据 响应 速度 、 跟 踪 
精度 等 系统 性 能 进行 折衷 选择 。 

“ 边 跟 踊 边 扫描 ”雷达 问题 将 在 后 文中 进行 讨论 。 < 

就 命题 5. 2. 1 中 描述 的 一 般 Kalman-Bucy 滤波 器 而 言 ， 在 式 (5. 2. 14) 和 式 (5. 2. 16) 中 
可 以 分 离 而 合 递 归 关 系 ， 即 可 得 到 仅 有 预测 名 ,, ， ,和 允 ,11 ,而 不 包含 滤波 启 ， 和 五 ,的 递归 
方程 ， 反 之 亦 然 (如 例 5. 2. 2)。 例 如 ， 将 测量 更 新 代入 时 间 更 新 ， 可 得 

Ki = BX HFK, I, t=0,1,. (5. 2. 42a) 














All 
Leite = Fan F — FKH, SaF GQG,, t= 0,1, (5. 2. 42b) 

预测 滤波 器 式 (5. 2. 42a) 是 一 个 由 新 息 序列 驱动 的 线性 随机 系统 。 因 此 ， 这 个 系统 与 原 跟 
踪 系 统 具 有 相同 的 动态 特性 (F,)。 就 跟踪 状态 向 量 X, 而 言 ， 重 建 了 一 个 与 X, 动态 特性 相 
同 的 系统 ， 其 中 新 息 通 过 矩阵 序列 FK, 影响 状态 向 量 。 

方差 更 新 方程 (5. 2. 42b) 是 由 状态 和 矩阵 确定 的 动态 系统 ， 具 有 非 线 性 特性 ， 因 为 右边 
第 二 部 分 中 包含 K, 项 的 部 分 依赖 于 允 , ,~!。 该 方程 就 是 著名 的 (离散 时 间 )Riccati 微分 方 
程 。 正 如 例 5. 2. 2 中 的 标量 情况 ， 这 个 方程 的 时 不 变形 式 ( 即 F,、G,、H,、Q, AIR, 都 独立 
于 六 会 收敛 到 稳 态 。 对 于 马 1, 而 言 ， 它 收敛 于 稳定 状态 的 充分 条 件 是 下 的 所 有 特征 值 都 
小 于 1( 该 条 件 是 原始 系统 渐 近 稳定 的 充 要 条 件 )。 另外 一 个 关键 问题 是 ， 求解 
RG. 2. 42b) 中 的 K, W RRD, 再 十 R,) “，， 它 在 数值 上 可 能 不 稳定 。 为 了 
将 马 411, 的 根 变 得 更 加 分 散 从 而 避免 产生 数值 问题 ， 有 必要 寻求 式 (5. 2.42) 的 等 效 方程 。 
Anderson 和 Moore 在 1979 年 讨论 了 很 多 这 方面 的 相关 问题 。 

在 推导 Kalman-Bucy 滤波 器 的 过 程 中 ， 利 用 了 了 上述 有 关 状 态 和 测量 模型 的 假设 。 虽 然 
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所 有 这 些 假设 都 是 必要 的 ,但 正如 前 文 所 述 ， 通 过 重新 建立 适当 的 模型 或 者 对 一 些 性 能 指 
标 进行 重新 选择 后 ， 可 以 避 开 其 中 的 一 些 假设 。 例 如 ， 如 果 将 噪声 序列 建 模 成 线性 随机 系 
统 的 输出 ， 就 可 以 放宽 输入 序列 {Ui) 宇 。 和 噪声 序列 {Vi) 社 。 的 独立 性 假设 。 此 时 ， 综 合 原 
系统 的 状态 向 量 和 附加 系统 的 状态 向 量 , 会 得 到 一 个 驱动 序列 和 测量 序列 独立 的 高 维 模 
型 ， 进 而 可 用 标准 卡尔 曼 滤波 器 求解 。 不 过 ， 这 种 系统 的 瞪 端 在 于 它 需 要 求解 一 个 更 高 维 
的 滤波 器 来 实现 对 噪声 和 输入 信号 的 跟踪 。 

下 面 结 合 例 5. 2. 4 来 进一步 说 明 扩 维 后 卡尔 曼 滤波 器 的 具体 求解 方法 。 

具有 相关 加 速度 序列 的 跟踪 扫描 雷达 

重新 考虑 例 5. 2. 3 中 的 “ 边 跟 踪 边 扫描 "雷达 。 对 典型 的 雷达 扫描 速度 和 感 兴趣 的 目标 
速度 区 间 而 言 ， 假 设 “ 目 标 加 速度 在 每 次 扫描 之 间 相 互 独立 ”不 太 符合 实际 情况 ， 例 如 目标 
惯性 将 使 得 相 邻 扫描 的 目标 加 速度 存在 相关 性 。 描 述 扫 描 间 目标 加 速度 具有 相关 性 的 简单 
模型 是 加 速度 序列 {A, } 交 ,按照 随机 序列 产生 ， 即 

Ami =pA,+tWr, n= 0,1, (5. 2. 43) 

其 中 ,初始 条 件 Ao 服从 高 斯 分 布 ，{W,}>, 是 独立 同 分 布 的 高 斯 序列 ，p 是 满足 OS p< 
HBR. p= 0 意味 着 加 速度 序列 之 间 没 有 相关 性 ，p 越 大 说 明 加 速度 序列 的 相关 性 越 强 。 

在 加 速度 满足 式 (5. 2. 43) 的 条 件 下 ， 式 (5. 2. 37) 所 描述 的 模型 不 再 满足 Kalman-Bucy 
滤波 器 所 要 求 的 假设 。 然 而 ， 如 果 将 加 速度 看 成 是 状态 (而 不 是 一 个 输入 ) 变 量 ， 可 得 到 包 
含 加 速度 动态 特性 的 扩展 状态 模型 ， 即 






































Pan i T, O1fF.) m) 
Vinl=|0 1 T.|/V,/+|0|W., 2=0,1,° (5. 2. 44a) 
Ah 0 6 pJlA, 1 
Fy 
Y, = 0a 0 O|V,|+er n=0,1,. (5. 2. 44b) 
A, } 
进而 可 得 到 状态 向 量 的 递归 估计 为 
Pisin Py, +T, Var 
Vin |= (Vane T An (5. 2. 45a) 
Arie p An 
和 
Pat Pea) (Kah 
Vx, Paa + | Kat — Ên) (5. 2. 45b) 
xy Â, i K.. 
增益 为 
Ki Ba C119 / Bie ed rd 


K,,2 
K.. 


Eill DA a DA (5. 2. 46) 


Ey (351) /CSy4 2D +r) 
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现在 要 跟踪 的 不 仅仅 是 目标 的 位 置 和 径 向 速度 ， 还 需要 跟踪 目标 的 加 速度 。 与 例 5. 2. 3 中 
的 低 阶 模型 类 似 ， 式 (5. 2.45b) 中 的 增益 向 量 在 实际 中 也 可 用 常 向 量 替 换 ， 即 








B/T, 
y/Ts 
这 就 是 著名 的 a-B-Y 跟踪 器 ， 可 通过 选择 参数 a、B 和 7 的 值 来 达到 预期 的 性 能 。 < 


上 述 例子 说 明了 在 卡尔 曼 滤 波 器 中 如 何 处 理 输入 序列 的 独立 性 问题 。 关 于 独立 性 问题 
更 详细 的 阐述 ， 可 以 参考 Anderson 和 Moore(1979) 的 著作 。 卡 尔 曼 滤波 器 的 另 一 关键 假 
设 是 状态 和 测量 方程 具有 线性 和 高 斯 特性 。 当 然 ， 如 果 仅 在 线性 滤波 器 中 寻求 最 优 性 能 ， 
那么 可 忽略 高 斯 假设 。Kalman-Bucy 滤波 器 由 二 阶 统计 量 (均值 和 方差 ) 确 定 ， 因 此 对 于 任 
意 初始 条 件 、 输 入 和 噪声 序列 而 言 ， 无 论 是 否 服 从 高 斯 分 布 ， 只 要 存在 二 阶 统计 量 ， 
Kalman-Bucy 滤波 器 在 所 有 线性 滤波 器 中 是 最 优 的 ， 相 关 问 题 将 在 5. 3 节 中 进行 讨论 。 相 
比 高 斯 分 布 假设 条 件 ， 状 态 和 观测 方程 的 线性 假设 很 难 放 宽 。 事 实 上 ， 如 果 没 有 线性 假 
设 , 在 最 小 均 方 误差 (MMSE) 意 义 上 求解 状态 估计 值 将 非常 困难 。 非 线性 系统 的 一 些 状态 
估计 方法 将 在 7. 3 节 关 于 连续 信号 估计 的 内 容 中 介绍 。 


5.3 线性 估计 


在 5. 2 节 中 讨论 了 求解 具有 高 斯 分 布 特性 的 线性 随机 系统 的 最 优 估 计 器 问题 。 卡 尔 曼 
滤波 器 不 仅 对 高 斯 线性 模型 是 最 优 的 ， 而 且 对 于 具有 二 阶 统 计量 (均值 和 方差 ) 的 非 高 斯 线 
性 模型 也 是 最 优 的 。 事 实 上 ， 非 高 斯 模型 线性 估计 器 是 最 优 线性 估计 器 的 特例 ， 它 只 需要 
二 阶 统计 量 即 可 确定 估计 器 的 具体 形式 。 本 节 将 继续 探讨 该 估计 器 ， 并 将 运用 相关 理论 解 
决 Wiener-Kolmogorov 滤波 问题 。 

假设 有 两 个 随机 序列 {Z,) 汪 -和 {X e FE an HATED Yn, 进行 观测 ， 并 利用 
这 些 观 测 来 估计 Xo R. KEER, =E(X,| Yi} de X, FE MMSE 意义 上 ) 的 最 优 估 计 。 
不 过 ， 如 果 观 测 的 数量 5 一 a 十 1 很 大 ， 除 非 这 个 问题 的 结构 很 特殊 (比如 Kalman-Bucy 模 
型 )， 和 否则 计算 条 件 均 值 会 相当 复杂 。 此 外 ， 确 定 条 件 均 值 需要 知道 变量 X, Yas vs Y, 
的 联合 分 布 ， 而 这 在 实际 中 通常 难以 准确 获取 。 

对 估计 器 施加 线性 约束 并 求解 该 约束 下 的 最 小 均 方 误差 估计 (CMSE) 是 降低 运算 复杂 度 
的 有 效 方式 ， 例 如 考虑 形式 如 下 的 估计 值 食 ， 


b 
$, = Sia. Yeo (5.3.1 


其 中 , ho eo hofie 均 为 标量 S 。 此 外 ， 在 线性 约束 下 求解 最 优 估计 器 仅 需要 已 知 一 
阶 统计 特 姓 避免 了 求解 随机 变量 的 联合 分 布 。 在 分 析 最 优 估计 器 之 前 ， 首 先 讨论 
式 (5. 3.1) 求 和 的 一 些 性 质 。 





全 ”由 于 存在 常数 项 c. ROG. 3.1) 的 形式 并 非 线性 变换 ， 更 确切 地 说 ， 它 应 该 是 仿 射 变换 。 为 标准 起 见 ， 仍 采 
用 “线性 变换 ”。 值 得 注意 的 是 ， 如 果 X,，Y。，…，Y。 是 联合 高 斯 分 布 随机 变量 ， 那 么 E(X, | YE E 
式 (5.3.1)， 此 时 将 得 到 全 局 最 优 估计 器 。 
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虽然 对 于 有 限 的 a 和 2， 式 (5.3.1) 求 和 的 意义 非常 明确 ， 但 是 需要 考虑 a 二 一 0、 
2 三 十 ce 或 二 者 同时 趋向 无 穷 的 情况 。 换 言 之 ， 从 实践 的 观点 来 说 ， 式 (5. 3.1) 的 意义 是 很 
明确 的 ， 但 是 从 理论 分 析 的 角度 ， 必 须 明确 界定 随机 变量 求 和 的 意义 。 本 书 采 用 均 方 和 定 
义 ， 即 对 于 一 一 c2“、2 有 限 的 情况 ， 式 (5. 3. 1) 意 味 着 

| =0 (5. 3. 2) 
式 (5. 3. DRAR F b= +00, a AEA a = o, b= t oop E Ht 
(5. 3. 2) ARBRE. 4a=—oco, b APRA, WWF IMEA a<t<b Ii A a<t<b; 
X 2 一 十 ce 时 ， 对 观测 序列 的 理解 与 此 类 似 。 

为 进一步 讨论 线性 估计 问题 ， 本 节 假 设 {X,) 芝 -<- 和 {Y,)%_。 都 是 二 阶 序列 ， 即 有 
E{X3)<co 和 下 (了 到) 二 ceo 成立 。 同 时 ， 记 Hs 表示 在 Y 基础 上 满足 式 (5. 3. 1) 的 所 有 估计 
值 的 集合 ， 下 面 首先 给 出 与 Hi 有 关 的 结论 ， 这 在 本 书后 续 讨 论 中 会 频繁 使 用 。 

命题 5.3. 1 假设 名 EHH:， 那 么 : 

1) E{(X,)?}<0o; 

2) wWRZARMBLE(Z}<omMAES, My 


b 
E{Z X,} = J h.n E {ZY} + E12} 


证 明 如 果 a、5 都 是 有 限 值 ， 那 么 这 两 个 性 质 显然 成 立 。 此 时 ， 证明 性 质 1) 需 要 
利用 不 等 式 (z 十 y) SA 十 y)， 性 质 2) 由 期 望 的 线性 性 质 直 接 得 到 。 为 了 证 明 a、5。 
有 一 个 或 者 两 个 趋 于 无 穷 时 也 成 立 ， 考 察 a 二 一 二 、5 有限 的 情况 (其 他 两 种 情形 的 证 明 
过 程 类 似 ) 。 

为 了 证 明 性 质 1) ， 考 虑 m<b, & 

x= Phony, 十 到 十 (R Tiat, =) (5. 3. 3) 


n=m 


{ii FAR SK (ety)? S42? + yy? FPR, FE 
ELROD} <4E[(Da¥, te) | HEL (R — Dhu¥a ee) ) G34 
MFARN a Mb, RG. 3. 4) 右 边 第 一 项 的 值 也 是 有 限 的 ， 右 边 第 二 项 在 m 趋 于 无 穷 时 
收敛 到 0。 因此 ， 一定 存 在 m， 使 得 第 二 项 为 有 限 值 ， 即 E{ (多,)?) 过 oo 成 立 。 
为 了 证 明 性 质 2), 在 m<6 时 有 
E(Z %,) — DNhisE{ZY,) 一 cE{Z} 一 也 |Z( 充 一 六 js 一 (5.3.5) 
利用 施 瓦 效 不 等 式 ， 得 


n=m 


|e(z(x.— Saar =a) | < EzE] (2, - Pint. =a) } 6.3.6) 


结合 假设 ELZ) < oR RENA m—>— cont El (2, 一 Tiii —«) } 一 0， 综合 


式 (5. 3. 5) 和 式 (5. 3. 6) 后 可 证 明 性 质 2) 成 立 。 至 此 完成 命题 证 明 。 口 
一 旦 将 估计 器 约束 成 为 式 (5. 3. 1) 的 形式 ， 则 MMSE 意义 下 的 最 优 估计 器 可 表示 为 
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min E{(X, — X,)*} (5. 3. 7) 


R, eH? 
在 下 面 的 命题 中 给 出 了 上 述 最 优 估计 器 的 解 。 
命题 5. 3. 2 EXRE 
X,€ Hs 是 (5. 3.7) 的 解 ， 当 且 仅 当 
EF\CX,— 3.32) =0, Ze Ht (5. 3. 8) 
证 明 BRR, 满足 式 (5. 3.8), AX, 为 Hs 集合 内 的 任意 不 同 于 六 hit, WX, 的 
MSE 为 
E{(X, — X,)*} 一 E{(X, 一 名 十 名 — X,)?} 
=E{(X, — X,)?} + 2E{(X, — ($, — ¥)} + E( CK, — &,)?} 
(5. 3.9) 
DAR, EH: AX, C Ho, XARA, XC Ho. BARG. 3.8) 成 立 ， 则 式 (5. 3. 9) 右 
边 第 二 项 为 0， 进而 有 
E{(X, — X,)?} = E{(X, — X,)*7} + E( CX, — &,)?} > E(CX, — g,)?} (5.3.10) 
既然 式 (5. 3.10) PAIX, 是 任意 的 ， 因 此 式 (5. 3. 8) 是 式 (5. 3. 7) 的 充分 条 件 。 
为 证 明 式 (5. 3. 8) 的 必要 性 ， 假 设 忒 人 下 ， 同 时 存在 一 个 ZE Hb WEB EX, —X,)Z}A0. 
定义 估计 值 六 ,为 
-Xt 
RIF E{(X, 一 X,)Z} 关 0 意味 着 EZ) >O AA 
| E{(X, — X¥,)Z} |? 


Z G5. 3. ID 


E{(X, — X,)*} = E(X, — X,)*} < E{(X, — X,)*} 





EZ? 
¢5.. 3. 12) 
Ak. X, EEX, Ehi, BX, 不 满足 式 (5. 3.7) 。 换 言 之 ， 式 (5. 3. 8) 是 最 优 估计 器 
的 必要 条 件 。 至 此 ， 完 成 了 命题 的 证 明 过 程 。 oO 


命题 5. 3. 2 表明 : 在 给 定 Y 的 条 件 下 ， 当 且 仅 当 估计 误 
差 X, 与 观测 Y: 的 任意 线性 变换 均 正 交 时 ， 义 , EX, WA 
性 MMSE 估计 。 这 就 是 著名 的 正 交 原理 ?， 它 是 投影 定理 的 特 
例 。 在 有 限 维 向 量 空间 中 ， 投 影 定理 具有 更 一 般 的 形式 。 

假设 x 和 >y 维 数 相同 ， 并 用 常量 “ 乘 以 了 来 近似 x, DA te 
得 误差 向 量 x 一 ay 的 长 度 尽 可 能 小 。 显 然 ， 当 且 仅 当 误 差 向 
量 垂直 于 ( 即 正 交 于 ) 治 的 直线 (参见 图 5. 3.1) 时 ,a 可 最 小 
化 误差 向 量 。 此 时 , x 的 近似 估计 也 就 是 x 在 y 方 向 上 的 
投影 。 





5.3.1 正 交 原理 说 明 





加 ”有 意思 的 是 ， 条 件 均值 估计 器 文 ,= 下 {X, | oA 
E((X,—X,)Z} =0, ZEG 
其 中 Gs 表示 形式 为 g (Ys) 并 满足 Elg2(z)} 一 cc 的 随机 变量 的 集合 。 
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类 比 投影 问题 与 线性 MMSE 估计 问题 是 非常 直观 的 : 向 量 ”类 似 于 观测 Yi, yA 
向 的 向 量 类 似 于 所 有 线性 估计 器 的 集合 Hi, eet x 对 应 于 待 估 计量 X,， 误 差 向 量 的 长 度 
| x 一 oy || ° 类似 于 MSE, BI E{(CX, 一 区 72)。 综 上 分 析 ， 可 以 认为 线性 MMSE 就 是 X, 在 
观测 YE 上 的 投影 。 

命题 5. 3. 2 描述 了 满足 式 (5. 3. 7) 的 解 应 具有 的 性 质 。 下 面 给 出 更 利于 求解 的 形式 。 

命题 5. 3.3 等 价 正 交 条 件 

R, 满足 式 (5. 3.7) 当 且 仅 当 

E(X,} = E{X,} (5. 3. 13) 


E{(X,— ,)Y,} =0, a<l<ob (5. 3. 14) 
证 明 根据 正 交 原 理 ， 分 别 令 Z=1 M Z=Y,, MARG. 3.13) 和 式 (5. 3.14) 的 
必要 性 证 明 。 证明 充 分 性 需要 利用 命题 5.3.1 的 性 质 2)。 特 别 地 ， 假 设 文 满足 式 


b 
(5. 3. 13) 和 式 (5. 3.14), 并 令 Z 二 hnY, 十 ct ， 有 


b 
E{(X, — DZ} = Sh E((X, — XDY,) 十 cE{X 一 全) 一 0 (5.3.15) 


即 式 (5. 3. 8) 成 立 。 至 此 完成 证 明 过 程 。 日 
利用 命题 5. 3. 2， 可 得 到 确定 式 (5. 3. 1) 中 最 优 滤波 器 系数 的 方程 。 将 式 (5. 3.1) 代 入 
式 (5. 3.13)， 可 得 





El YW tale E{X,} 
应 用 命题 5. 3. 1 的 性 质 2), 取 Z=1 后， 有 
& = EX) = DAA (5. 3. 16) 
结合 式 (5. 3. 1) 和 式 (5. 3. 14) ， 可 得 如 下 关系 ii 
PE- Praf ntj. a<l<b (5.3.17) 
将 式 (5. 3. 16) 代 入 式 (5. 3.17), 可 得 


b 
E{[(X,— E(X) 一 hin, — E{Y,))JY)} =0, a<l<e 


n=a 


b 
E{(X,— E{XDY} = SALEBY. EY DY,)}, aie 


b 
cov(X, ,Zi) = X hancov(Y,Y,), ales 
最 终 得 到 
三 py Crabs acige (5.3. 18) 


其 中 Cxy (ts, LD Acov(X,, Y,) ERI {Xn} r=- BY, J. WA K BK, MC, DA 
cov(Y,, Y) ÆFA) Y,- WW BK BHR, 
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ACG. 3. 16) 和 式 (5. 3.18) 给 出 了 确定 系数 {h.,)s-。 和 cc, 的 充 要 方程 ， 由 此 可 得 由 到 
估计 X, 的 最 优 线性 估计 器 。 注 意 ， 这 些 方程 仅 涉及 Y AX, 的 均值 、 自 相关 和 互相 关 ( 二 
阶 统 计量 )。 与 需要 已 知 YY MX, 的 联合 分 布 的 条 件 均 值 估 计 器 下 {X,| 丈 } 相 比 ， 线 性 
MMSE 估计 器 具有 明显 优势 ， 这 是 因为 二 阶 统计 量 不 但 比 多 元 分 布 函数 更 容易 分 析 建 模 ， 
而 且 更 容易 从 观测 序列 中 准确 估计 。 如 果 { 六 ,,) 和 .满足 式 (5.3.18)， 那 么 最 优 的 c 可 由 
式 (5. 3. 16) 得 到 。 事 实 上 ，c, 的 作用 是 将 广 , 的 均值 调整 到 与 X, 相同 ， 即 最 优 线 性 估计 器 
通常 具有 如 下 形式 


b 
X, = E{X,} + a... Yn, — E{Y,}) (5. 3. 19) 


Aik, AT ERR— iE, TRX, ALY, } EA OO. FER PA =0, 
即 不 需要 求解 式 (5. 3. 16) 。 

事实 上 ， 式 (5. 3. 18) 就 是 著名 的 Wiener-Hopf 方程 。 对 于 有 限 的 a、6， 在 理论 上 很 
容易 求解 该 方程 。 特 别 地 ， 式 (5. 3. 18) 是 一 系列 (5 一 a 十 1 个 ) 线 性 方程 的 集合 ， 可 以 重新 
写成 矩阵 形式 


Oxy (i) = Byh, (5. 3. 20) 

H, ow) AlCw t, a), 0, Cr, bD], BALA: ts hel, Sy BME, «>, 
YOT 的 协 方差 矩阵 。 假 设 到 是 正定 矩阵 5 ， 由 式 (5. 3. 20) 可 得 最 优 估计 器 的 系数 为 

h, = Zy'oxy (t) (5.3. 21) 


显然 ， 对 于 有 限 的 a 和 2， 在 理论 上 可 求 出 MMSE 估计 。 不 过 ， 在 实际 中 ， 求 解 最 优 估计 
器 的 系数 通常 较为 困难 ， 这 是 因为 矩阵 马 . 的 求 逆 运算 非常 复杂 。 一 般 地 ,一 个 Xk 和 矩阵 
Rite Sk 次 操作 ， 这 里 等 于 观测 的 次 数 。 在 多 数 信号 估计 间 题 中 , k 随时 间 线 性 增 
长 ,难以 实时 计算 式 (5. 3. 21) 的 最 优 估计 器 系数 。 因 此 ， 对 线性 信号 估计 器 的 研究 主要 集 
中 在 探索 能 够 有 效 求解 最 优 估计 器 系数 的 特殊 模型 上 。5.2 节 中 Kalman-Bucy 滤波 器 就 是 
降低 运算 量 的 特殊 模型 。 此 外 ，Levinson 模型 和 Wiener-Kolmogorov 模型 也 是 降低 运算 复 
杂 度 的 典型 模型 ， 其 中 Levinson 模型 具有 求解 最 优 滤波 系数 的 高 效 算法 ， 而 Wiener- 
Kolmogorov 模型 通过 使 < 趋向 负 无 穷 来 降低 计算 复杂 度 。 下 面 讨 论 Levinson 模型 ， 
Wiener-Kolmogorov 模型 将 在 5. 4 节 中 讨论 。 

Levinson 滤波 

Levinson 滤波 仅 考 虑 在 时 域 具有 平稳 特性 的 随机 序列 的 一 步 预测 问题 。 特 别 地 ， 如 果 
观测 序列 {Y,) 全 -- 的 自 相 关 函 数 满足 

Cy (n,l) = Cy(n— 1,0) C5. 3u 22) 

则 称 该 序列 是 相关 平稳 或 广义 平稳 (w. s.s) 序 列 。 为 了 方便 起 见 ， 省 略 式 (5. 3. 22) 右 边 第 
二 个 参数 0 后， 可 将 广义 平稳 序列 的 自 相关 函数 写成 时 间 差 的 单 变量 函数 ， 即 


Cy (n, D = Cy (a— 1) (5.3.23) 


MAW cov(y,, Y,)=cov(Y,, Y), PUR Cy 具有 对 称 性 ， 即 Cy(n 一 人 站 = 二 Cy (l 一 nn)。 





O WAM Sy 至 少 是 非 负 定 的 ， 并 非 一 定 要 求 正定， 这 意味 着 存在 完 余 观测 (如 3.2 节 所 述 )。 此 时 
式 (5. 3. 20) 的 解 不 唯一 。 
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在 Levinson 滤波 问题 中 ， 需 要 根据 On 时 刻 的 观测 Yn MW Yi. RAST FF 
号 ， 有 a=0, b=t Fil X,=Y,4,. BAA {Xram =E Yni btw {Y, h=- HY EHR RRO 





Cx (1,1) = cov(X,,Y,) = cov(Y 1 5Y¥) = G 0@+1— 2) (5. 3. 24) 
KWM, Ly 的 第 (n 一 小 个 元 素 是 Cy (n 一 1)。 因 此 ， 式 (5. 3. 20) 的 Wiener-Hopf 方程 变 成 
CGO Cyl) see Cy (t) 
Cyl(g 15 hio 
Cy (1) Cy (0) se Cy(t— 1) 
Cy Ct) . e be tel 
i _ : : : ; (5. 3. 25) 
` Cray 
Crt) ni 
Cy (t) zes Cy (1) Cy (0) 





上 述 方程 组 也 称 为 Yule-Walker 方程 。 

既然 {z) 生 -= 是 广义 平稳 的 随机 过 程 ， 式 (5. 3. 25) 右 边 的 矩阵 DY 是 Toeplitz 矩阵 ， 
这 意味 着 其 对 角 线 的 元 素 都 是 常数 [因为 Cy (n，7) 二 Cy (一 上 )]。 不 同 于 一 般 的 协 方差 矩 
阵 ，kXk 阶 Toeplitz 矩阵 的 求 逆 过 程 只 需要 k 次 操作 就 可 实现 。(1964 年 Trench 给 出 了 
Toeplitz 矩阵 的 高 效 求 逆 算 法 )。 换 言 之 ,求解 广义 平稳 观测 序列 的 线性 MMSE 问题 的 计 
算 复杂 度 降低 了 & 倍 。 就 Levinson 问题 而 言 ， 利 用 该 模型 的 特殊 结构 还 可 以 进一步 简化 
求解 估计 器 系数 的 计算 过 程 。 注 意 ， 式 (5. 3. 25) 中 左边 的 向 量 oxwy (1) 与 双 的 第 一 行 延 迟 
一 个 时 间 单 位 后 的 形式 相似 ， 即 可 以 在 时 域 采 用 递归 形式 计算 滤波 器 系数 。 


将 预测 值 Y,,， = >, Ph x 写成 Y,,， EE > oti Eid 后 ， 系数 ys Ta ar. PJ BA 
在 时 间 上 根据 如 下 算法 ( 即 Levinson 算法 ) 进 行 递归 更 新 


QH S arne — kanas k=1,%,t (5. 3. 26) 
All 
Arist =— k, C5. 3.27) 
Fp k, 和 e,AE{(Y, 一 了 ,)*} 的 递归 计算 式 为 
eni = (1— kê de, (5. 3. 28) 
All 


Cy@+1) + SJauCy@+1—e) 
k, = a=) (5. 3. 29) 


E€: 
初始 值 为 ko = —Cy (1) /Cy (0) Al eo =Cy (0). HER, AAE MMSE 最 优 系数 计 
算 的 同时 求 出 了 e 和 系数 有 i，k,，…， 其 中 ki ，k;，… 称 为 部 分 相关 系数 或 者 反射 系数 ， 
它们 对 于 格 型 滤波 器 完成 单 步 预测 非常 有 用 。1984 年 ，Honig 和 Messerschmitt 推导 了 
Levinson 算法 ， 并 给 出 了 单 步 预 测 器 的 具体 实现 结果 和 典型 应 用 实例 。 < 
线性 估计 问题 可 以 直接 推广 到 上 维 观测 序列 的 m 维 向 量 估计 情况 。 考 虑 如 下 估计 器 





= Se, Ys Fé, (5. 3. 30) 


其 中 ，{H,,,)s-。 是 一 个 m Xk 维 的 矩阵 组 成 的 序列 ， ciER"。 式 (5.3.30) 中 , 在 a 或 6 无 
限时 ， cae, 如 当 a 王 一 ce 且 2 有 限时 ， 有 
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b 
lim E| | XHn Y, +e 
ies n=j 


中 ，|x|?*Ax "x。 若 选择 一 个 估计 值 ， 使 得 
piei IX.— x, 17} 








— tag 


t 


如 前 定义 ，Hs 是 具有 式 (5. 3. 30) 形 式 的 估计 器 解 的 集合 。 根据 定理 5. 3. 2， 当 且 仅 当 下 式 
RN, R, 是 最 优 线性 估计 值 


E{(X,—X,)'™Z} =0, ZE H (5. 3. 31) 
式 (5. 3. 31) 可 以 等 价 转换 为 
E{X,} = E{X,} (5. 3. 32a) 
和 
E{(X,— DYT) =0, a<l<b (5. 3. 32b) 


其 中 0 表示 和 抢 阵 的 所 有 元 素 都 是 0。 上 式 给 出 了 求解 c 的 最 优 估 计 值 的 计算 方程 ， 对 应 的 
Wiener-Hopf 方程 为 


b 
Colt, D = )MLCyaD, ax<li<o 05. 3.35) 


E, Cwlt, 1) Acov(X,, Y, Æ(X, ye- ALLY, =. WT ERR, Cy(n, D Acov(Y,, 
Y), Cyt, DAM Cyn, DAH mXk FR KR EME. 

对 于 有 限 的 a 和 0， 式 (5.3.33) 中 的 Wiener-Hopf 方程 给 出 了 一 系列 [(b 一 a 十 1) X 
mXk] 线 性 方程 。 考 虑 到 (5b 一 a 十 1)k HEB, Ya, +, YP)" 的 协 方差 矩阵 为 正定 矩 
阵 ， 可 以 利用 矩阵 求 逆 求 解 上 述 方 程 。 事实 上 ， 最 小 化 范 数 的 均值 误差 E X,—X, |?) 4 
价 于 最 小 化 X, 的 每 个 元 素 的 MSE. Alt, 向量 Wiener-Hopf 方程 是 一 系列 的 标量 
Wiener-Hopf 方程 ， 每 个 标量 Wiener-Hopf 方程 含有 (0 一 4a 十 1)& 个 观测 值 。 需 要 说 明 的 
是 ， 这 种 结构 并 没有 简化 求解 ， 因 为 观测 序列 的 维 数 大 大 增加 了 计算 复杂 度 。 在 标量 情况 
下 ， 对 这 些 问 题 的 研究 主要 集中 在 计算 复杂 度 上 。Levinson 问题 既 可 以 写成 向 量 形式 也 可 
以 写成 标量 形成 ， 其 求解 方法 类 似 于 例 5. 3. 1。 由 此 可 见 ，Kalman-Bucy 滤波 器 不 仅 是 线 
性 高 斯 模型 下 的 全 局 MMSE 估计 器 ， 而 且 是 少量 约束 条 件 下 的 线性 MMSE 估计 器 。 作 为 
总 结 ， 下 面 结合 例子 来 说 明 Kalman-Bucy 滤波 器 是 线性 MMSE 估计 器 。 

Kalman-Bucy 滤波 器 是 线性 MMSE 估计 器 


考虑 如 下 线性 随机 系统 模型 
Xiu = F,X,+G,U,, n= 0,1,. (5. 3. 34a) 
Y, = H,X, +V,, n= 0,1l, (5. 3. 34b) 


对 于 每 个 n0, X,. Un, Y, AV, 分 别 是 维 数 为 m、s、k 和 上 的 随机 向 量 ，F,、G, AH, 
是 相应 维 数 的 和 矩阵。 假定 {U,)=-s 和 {VV 和 
MERE n FIL, A cov(V,, U,)=0; Xt nAl, A covU,, U,)=cov(V,, V)=0, 0 表示 全 
FEE] WREE X B{U,) AV, GK. Ae U, 和 VV 的 协 方差 矩阵 
Q. AIR, GA. HOAX, 的 均值 m,。 和 方差 矩阵 五 。 除 去 上 述 假 设 之 外 ， 随 机 变量 具有 任 
意 统 计 特性 (注意 ， 这 里 并 未 假设 服从 高 斯 统计 特性 )。 
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遵循 上 述 假设 ， 定 理 5. 2. 1 中 的 Kalman-Bucy 递归 滤波 器 是 由 观测 Ys 中 的 X, AX, 
构成 的 线性 MMSE 估计 器 ， 在 此 不 再 详细 展开 。 正 交 性 原理 可 用 来 推导 时 间 更 新 估计 器 
Xi =F. $ o RH, HAY WL. BRR, EX, 的 最 优 线性 估计 。 对 ZE 
Hi. Sik 
l E{ (Xa — F, X,,)™Z)} (5. 3. 35) 
代入 式 (5. 3. 34a) 后 ， 式 (5. 3. 35) 可 写成 
E{(F,.X, +G,U, — F, X,,7Z} = E{ (X, 一 区 TFIZ) 十 E{UTZJGT (65.3.36) 
ETRE EA YS 估计 X 的 最 优 线性 估计 ， 并 且 对 于 ZE Hi 有 FIZ EH. 
RG. 3. 36) 的 右边 第 一 项 在 ZE Hs 时 恒 等 于 0。 观察 式 (5. 3. 36) 右 边 第 二 项 ,，Z 是 Ys 的 
线性 变换 ， 而 Yi MAX. US| AVS 的 线性 变换 ， 它 们 与 U, 都 不 相关 ， 即 U, AZ 不 相关 
且 对 于 ZEHi; # E((X4.—-F, X,,7Z)=0 Mic, BR, AFI, TAE Y, 条 件 
F, F, R ,是 X+ 的 最 优 线性 估计 器 ， 其 时 间 更 新 协 方差 的 证 明 过 程 与 命题 5. 2. 1 中 的 高 
斯 分 布 情形 基本 相同 。 < 


5.4 Wiener-Kolmogorov 滤波 


在 5.3 WH, WFT Wiener-Hopf 方程 ， 该 方程 通过 对 一 组 随机 变量 Y.，…，y 的 
观测 ， 确 定 对 随机 变量 X, 进行 最 优 线性 估计 时 的 相关 参数 。 在 大 部 分 信号 估计 的 实际 应 
用 中 ， 观 测 样本 的 个 数 5 一 a 十 1 随 上 线性 增长 ， 因 此 ， 需 要 给 出 进一步 假设 ， 以 便 更 有 效 
地 计算 估计 值 的 相关 参数 。 其 中 ,在 Levinson 和 Kalman-Bucy 滤波 模型 中 分 别 给 出 了 两 
组 假设 ， 在 Wiener-Kolmogorov 模型 中 给 出 了 另 一 组 简化 的 假设 ， 可 用 于 求解 最 优 线性 估 
计 问 题 ， 并 在 信号 估计 领域 得 到 了 广泛 应 用 。 本 节 将 对 Wiener-Kolmogorov 模型 进行 详细 
介绍 。 

与 讨论 Levinson 问题 时 相同 ， 假 设 (标量 ) 观 测序 列 是 广义 平稳 的 ， 即 对 于 所 有 整数 n 
fill, Cy(n, 1) Acov(Y,, Y,)=Cy(n—l, 0)=Cy(n—1). FAY, 假设 观 测序 列 和 (标量 ) 
PRIA X, oo ERS FAH, BIT TAM n All, CxG, n)Acov(X,, Y,) =Cxy t— 
ny 0)=Cyxy (t—n) (为 不 失 一 般 性 ， 仍 假设 X, ALY, 的 均值 为 零 ) 。 此 外 ， 假 设 观测 样本 的 
个 数 是 无 限 的 ， 并 讨论 以 下 两 种 滤波 问题 : 非 因果 Wiener-Kolmogorov 滤波 问题 ， 其 中 
a=—co, b=+c0o; 因果 Wiener-Kolmogorov 滤波 问题 ， 其 中 a=—co, b=t, 首先 讨论 
求解 过 程 相 对 简单 的 非 因果 滤波 问题 。 

5.4.1 FER Wiener-Kolmogorov 滤波 

在 这 一 类 滤波 问题 中 ， 基 于 全 部 时 刻 的 观测 样本 来 求解 t 时 刻 的 估计 值 ， 其 中 一 一 

1 二 ceo。 因此 ， 称 其 为 非 因 果 Wiener-Kolmogorov 问题 ， 从 而 有 


= 5 hoat (5. 4.1) 





名 ”实际 上 ， 该 结论 可 由 Kalman-Bucy 滤波 器 的 高 斯 分 布 和 线性 性 质 推 导出 。 上 述 模型 包含 了 高 斯 模型 ， 因 此 
如 果 对 于 上 述 模型 存在 某 个 最 优 线性 滤波 器 结构 ， 那 么 Kalman-Bucy 将 不 再 是 高 斯 分 布 这 一 特殊 情况 下 的 
全 局 最 优 滤波 器 。 
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如 果 将 上 式 看 作对 序列 {Y, }_- 的 线性 滤波 操作 ， 则 相应 的 估计 间 题 不 受 因果 条 件 的 约 
束 ， 即 冲 激 响 应 {h,,,} 守 -可 以 不 满足 及 ,二 0，t 生 n。 这 意味 着 ,对 “当前 ”时 刻 t 的 估计 可 
能 会 取决 于 未 来 时 刻 ">+。 显 然 ， 对 于 实时 估计 问题 ， 应 该 只 关注 因果 滤波 器 。 然 而 ， 对 
于 可 事先 存储 的 非 实时 数据 应 用 或 者 : 为 空间 参数 而 不 是 时 间 参 数 的 情况 (如 图 像 或 阵列 
处 理 )， 因 果 性 并 非 必 要 条 件 。 

上 述 问 题 的 Wiener-Hopf 方程 (5. 3. 18) 为 


Cry (ts) = haCylnl)), — œ< l< o (5. 4. 2) 
由 平稳 假设 可 得 
Carlt D = > jnCy( 一 D， 一 co 二 /一 co (5. 4. 3) 


为 了 便于 分 析 ， 定 义 新 变量 r 一 上 一 上 ， 进 而 可 将 上 式 写 为 


Cxy (rt) = J) hanCy(nt rt), — o< r< oo (5.4. 4) 


再 进行 变量 代 换 a=t—n, KR Wiener-Hopf 方程 变 为 
Ce(r) = >)jsCv(ae 一 上 中， 一 ce 二 rz 到 co (5. 4. 5) 


上 式 中 ,变量 1 仅 出 现在 系数 序列 {h.,-。) 汪 -中 ， 这 表明 如 果 上 述 Wiener-Hopf 方程 
有 人 和解， 则 可 得 到 与 t ERKE. BU TR hen) EA hh, Ma 有 关 的 形式 ， 或 者 
等 价 地 写 为 h,,,-。 二 ho( 对 所 有 整数 1 和 a 均 成 立 ) 。 因 此 ， 如 果 上 式 有 解 ， 则 可 以 采用 满 
FE As 二 Po 人 Ah 的 时 不 变 ( 或 平移 不 变 ) 形 式 ， 其 中 ， 为 方便 起 见 ， 省 略 了 第 二 个 下 标 。 
根据 该 观测 模型 ， 并 利用 Cy Ca) 三 Cy(Cr 一 xc) ，Wiener-Hopf 方程 可 写 为 


Cyy (r) = X) h,Cy(t— a), 一 和 去 和 二 55 (5. 4. 6) 


上 式 右 边 为 序列 {h,) 汪 -和 {Cy (n)}) 过 -的 离散 时 间 卷 积 。 因 此 ， 式 (5.4.6) 实 际 上 是 一 
个 卷 积 方程 ， 且 可 以 被 转换 为 频 域 的 简单 代数 方程 。 特 别 地 ,假设 下 列 离散 时 间 仁 里 叶 变 
换 存 在 


Hw) A Dhe™”, —xSw<e (5.4.7) 
dx (w) A >) Cee, -—raeace (5. 4. 8) 

及 
办 (o) A >) Omme, —x<w<r (5. 4. 9) 


则 上 述 Wiener-Hopf 方程 变 为 

dry (w) = Hw) by(w), —x<w<n (5. 4. 10) 
Hp, H ERKE (hw BA, py 是 序列 {Y,} 江 -< 的 功率 谱 密 度 ( 或 频谱 )， 
xy FE FFI X, -e ALY, WAH BEER. 
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利用 式 (5. 4. 10) ,求解 Wiener-Hopf 方程 易 得 最 优 估计 所 对 应 的 传递 函数 ， 即 








Hiei = Parla, Seun (54 1D 
进而 可 得 相应 (时 不 变 ) 滤 波 器 系数 为 9 
1 f* $xy Cw) eien 
h, = zz delo © dw, nEZ (5. 4. 12) 


基于 前 述 假设 ， 式 (5. 4. 11) BSR GS. 4. 12) 给 出 了 非 因 果 Wiener-Kolmogorov 问题 中 的 
最 优 线性 估计 。 在 采用 具体 示例 对 上 述 结果 进行 说 明之 前 ， 有 必要 先 对 采用 上 述 滤波 器 时 
所 导致 的 均 方 误差 进行 讨论 。 定 义 均 方 误差 最 小 值 表达 式 为 

MMSE A min E{(X, — — X)’} 


Å, EH% 


Bp f 
MMSE = E{(X, — ,)’} 
JEP, X, 是 最 优 估 计 值 。 可 将 上 式 进一步 推导 为 
MMSE =E{(X, — ©,)’} 
=E((X, — KX) Xi} — E{(X, — Å) &,} (5. 4. 13) 
= E{X?} — E{X,X,} 
其 中 ， 由 正 交 性 原理 可 知 E(X, £, = }=0 
首先 分 析 式 (5. 4. 13) 右 边 的 第 二 ,可 得 
E(X,X,} a(S Dik )%} = pus E (YX) 
(5. 4. 14) 
= Shweta = Thet 
其 中 ， 定 义 下 标 a 二 t 一 n。 HE, RG. 4.14) 47H (hy) 与 {Cxy (>n) } 2. RH 
0 项 ， 从 而 有 


E{X,X,} = ae Hw) bxy Cw) dw (5. 4.15) 
其 中 ，Yxr (ow) 是 序列 {Cxr (— 12) } 5 oo AI R BBC Td EB 
$xy (w) = Tare, —x<w<n (5. 4. 16) 


令 式 (5.4. 16) 中 o 一 一 2， 有 


$xy (w) = Cw wer = = $y (w) (5. 4.17) 
其 中 ， 上 标 “ » RRR HH. 由 式 (5.4. 11) 和 式 (5.4. 15) 可 得 
BUX.) = 区 i bry Cw) ge Ody = 1f | xv Cw) | dw (5. 4. 18) 








x Py Cw) 2r- $y (w) 
IBF AW {Xoo RE SOR A, OREN $x， 则 可 以 将 式 (5.4. 13) 右 边 的 第 一 


O ”此 处 及 本 书 其 他 各 处 ， 乙 均 表 示 整 数 集合 。 
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E(X?) = Cx(0) 一 元 | $x Cw) de 





由 上 式 可 得 
MMSE = 4f [io = aie” Hee |e (5. 4. 19) 
上 式 可 改写 为 
二 hs | $xy Cw) |? 
MMSE = |" [1 和 |b ode (5. 4. 20) 


因此 ， 最 优 滤波 器 的 性 能 可 由 $x 加 权 下 的 函数 [1 一 | bey |? /$xpyj 的 积分 得 到 。 由 互 功 率 
谱 的 性 质 可 得 ，| $xy Cw) |: 志 $x (0) 各 (w)， 一 x 三 w 过 x， 且 对 所 有 的 wE[ 一 x*，xj]， 当 上 且 仅 
rip {(X,) 过 -= 和 {(Y,} 芝 -= 完全 相关 时 ， 等 号 成 立 ( 即 X,E H3。 对 所 有 EZRA), A 
此 ， 式 (5. 4. 20) 表 明 随 着 序列 { Xah- ALLY, He — ACPA KL $xy (o) 王 0， 一 r 委 wo 委 r] 

到 完全 相关 ， 最 小 均 方 误差 的 取 值 由 下 {X:} 变 化 到 0。 可 见 ， 在 取 值 范围 的 两 个 端点 分 别 
4 X,=E(X,)}=0 和 文 ,一 X,。 显 然 ， 需 要 关注 的 是 取 值 范围 中 两 个 端点 之 间 的 部 分 ， 即 
0 二 MMSE 二 E{ X?} 5284}. 

为 了 对 非 因 果 Wiener-Kolmogorov 滤波 进行 举例 说 明 ， 给 出 如 下 示例 。 

加 性 噪声 中 的 信号 估计 


考虑 如 下 观测 模型 
Y,=S,+N,, nE€Z (5. 4. 21) 
HP, RRS} ALN, } i PI BEAR ATR. SRA CP aS ARS. i 
se recency ee 时 刻 的 信号 ， 且 4 为 整数 ， 即 
X, = Sua (5. 4. 22) 


上 述 问题 在 )=0、) 之 0 ML A<O 时 分 别 代 表 对 信号 的 滤波 、 预 测 和 平滑 。 分 别 用 $s Al by 
代表 信号 和 噪声 的 功率 谱 ， 易 得 





by (w) = $s lw) +on(w), run (5: 44:23) 
xy Cw) = ewgs(wo)， —nNRwXr (5. 4. 24) 
和 
$x(w) 一 go)， —nNwXn (5. 4. 25) 
由 式 (5.4. 11) 、 式 (5.4. 23) ASR CS. 4. 24) 可 得 ， 最 优 非 因果 滤波 器 的 传递 函数 为 
Hw = eat) ae wtin (5. 4. 26) 


$s Cw) + $y Cw)’ 

上 述 滤 波 器 的 解释 非常 直观 : e”: 是 具有 单位 幅度 的 相位 项 ， 在 时 域 对 应 1 个 单位 时 
延 。 因 此 ， 这 一 项 仅 对 数据 序列 进行 时 移 操 作 ， 与 期 望 对 i 十 4 时 刻 的 信号 进行 估计 一 致 。 
上 述 时 延 在 ) 委 0 A ADO 时 ， 分别 对 应 因果 和 非 因果 两 种 情况 。 滤 波 器 传递 函数 中 的 男 一 
项 是 它 的 幅度 项 $s/ (8s 十 py)， 代 表 滤 波 器 的 增益 ， 可 将 这 一 项 改写 为 


#0) /$n Co) _ 
$5(w)/$n(w) +1’ 


DAL ERE $5 (w) /bv (wo) BRO 到 无 穷 大 时 由 0 变化 到 1( 注 意 ， 功 率 谱 是 实 值 非 负 函 数 )。 


(Hew |= —xniw<nr (5. :4..27) 
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EKE, WR $s (w)/bn(wK1, I | Hw) |~0; WE $s (w)/by(w) 1, M| Hw) |~1, 
可 以 将 bs (w) / tn (w) AVE FEI w 处 对 信 噪 比 ( 信 噪 功率 比 ) 的 一 种 度量 。 可 见 ， 如 果 某 个 
频率 处 的 噪声 分 量 占 优 ， 则 相应 的 滤波 器 增益 趋 近 于 0; 如 果 信 和 号 分 量 占 优 ， 则 滤波 器 增 
益 趋 近 于 1。 在 上 述 两 个 边界 取 值 之 间 ， 增 益 的 选取 使 得 信号 失真 (由 小 于 1 的 增益 造成 ) 
和 噪声 残留 (由 大 于 0 的 增益 导致 ) 达 到 一 种 平衡 。 

. BRG. 4. 20) 和 式 (5. 4. 23) 一 式 (5.4.25) 可 得 ， 非 因果 Wiener-Kolmogorov 滤波 器 的 
性 能 可 由 下 式 给 出 ( 易 知 时 延 4 与 滤波 器 性 能 无 关 ) 


1 i slw) bry Cw) 
MMSE = ih 
Oe Fal natal) Pty tale A 


由 于 加 Co)/[$s Cw) Hen (Ww) JX AL by (o/s w) + by Wo) JX, Alte, RG. 4. 28) 表 示 最 小 均 方 
误差 不 会 大 于 信号 平均 功率 E| hodo RARE LL” dy Codd » B 





MMSE < min[ 直 | $Cw)dws | $y(w) de | (5. 4. 29) 
Td —x on 一 并 


当 bs(w)/by(w FEL n nA IEF 0 时 ， 取 上 式 两 个 极限 值 中 的 第 一 项 ， 此 时 最 优 滤 
波 器 变 为 全 阻 滤波 器 [ 瓦 (wo)s0]; 而 当 $s(w) /$n(w) 在 [一 x*，xj 内 均 趋 近 于 无 穷 时 ， 取 上 
式 两 个 极限 值 中 的 第 二 项 ， 此 时 最 优 滤波 器 为 全 通 滤波 器 [及 (w) 守 1]。 式 (5.4.28) 同 时 表 
明 ， 当 上 且 仅 当 $s Cw)$n(w) 二 0 对 所 有 wE[ 一 x*，zj 均 成 立时 ， 最 小 均 方 误差 才 为 0。 比 如 ， 
当 信号 与 噪声 分 别 占 据 不 同 频 带 时 ， 就 会 出 现 这 种 情况 。 4 
5.4.2 WE Wiener-Kolmogorov 滤波 

如 前 所 述 ， 非 因果 线性 估计 不 适用 于 需要 进行 实时 估计 的 场合 。 由 于 许多 应 用 中 都 需 
要 进行 实时 估计 ， 因 此 有 必要 对 因果 Wiener-Kolmogorov 问题 进行 研究 。 在 这 类 问题 中 ， 
希望 基于 序列 {Y,) 盖 -观测 样本 中 4 时 刻 之 前 的 部 分 实现 对 XX, 的 估计 ， 即 对 应 a=—oo, 
b=t 时 的 情况 。 

为 了 求解 上 述 问题 ,首先 ， 由 于 集合 H o ERA H. 的 子 集 。 因此， 如 果 非 因果 
Wiener-Kolmogorov 问题 的 解 刚 好 是 因果 的 ,那么 它 也 能 用 于 求解 因果 Wiener- 
Kolmogorov 问题 。 遗 憾 的 是 ， 除 特殊 情况 外 ， 非 因果 问题 的 解 一 般 是 严格 非 因果 的 。 然 
而 ， 在 因果 和 非 因果 Wiener-Kolmogorov 问题 的 解 之 间 存 在 某 种 确定 关系 。 如 果 令 名 , 和 
X, 分 别 表示 已 知 模型 的 因果 和 非 因果 Wiener-Kolmogorov fiit. MAX 一文, ) = (XX, 一 
DHX, +), AER ZEH o, A 

0 = E(X: — KZ) = BUR, — Z} + E(X. — £32) (5. 4. 30) 

进一步 地 ， 将 正 交 性 原理 应 用 于 议 并 利用 ZE He. (由 于 HCH”), WE E{(X, 一 
X,)2Z) 项 为 0。 因 此 ， 由 式 (5.4.30) 可 得 

E((X,-—X)Z}=0. Ze Mt. (5. 4. 31) 

由 式 (5.4. 31) 和 正 交 性 原理 可 得 ， 文 AP PARMA, Web wh. HX, 

EX, WHO Wee, X, 可 以 由 下 列 步骤 得 到 : 首先 将 X, 向 五 =- 投影 得 到 XX,， 然 后 将 

X, 向 五 .进行 投影 。 以 空间 Rs 下 的 标准 正 交 坐标 系 为 例 ， 其 中 ， 三 个 坐标 轴 分 别 以 z、 
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y 和 x 表示， 则 上 述 结论 的 几何 解释 为 : 为 了 得 到 R’ 中 某 向 量 向 X 轴 的 投影 ， 可 以 先 将 
该 向 量 向 x-y 平面 ( 或 x-z 平 面 ) 投 影 ， 然 后 再 将 投影 结果 向 x 轴 投 影 。 由 于 xz 轴 是 z-y 平 
面 (或 zz 平面 ) 的 子 集 ， 因 此 上 述 操作 显然 是 可 行 的 。 

基于 上 述 讨论 ， 可 以 将 非 因果 最 小 均 方 误差 估计 结果 作为 求解 因果 最 小 均 方 误差 估计 
的 出 发 点 


co 


x= >» KY, (5. 4. 32) 


Het, (f,)=- MRG. 4.12) 给 出 。 为 了 实现 癌 (Y,);=-= 构 成 的 线性 估计 集合 的 投影 ， 
可 以 对 式 (5. 4. 32) 进 行 一 种 简单 的 截断 操作 ， 即 


X A hinYn (5. 4. 33) 


如 果 X, HEX, 向 五"- 的 投影 ， 则 对 于 所 有 的 mn, RA X,-—X, = ak „Y, 4 Yn JE 


交 。 然 而 . MTY, e-o AY, r EEEE, AARP Ch, e RE TE 
ZER, ORG ILE. (CX, - XD ASH Hs 正 交 。 但 是 ， 当 {Y,}>- 由 一 组 非 
相关 随机 变量 构成 时 ， 式 (5. 4. 33) 中 的 X, 将 会 符合 所 需 的 正 交 性 条 件 ， 这 时 有 

E{(X, — XDY,,} sF haB tY, Yn] =o" P hum = Om (5.4.34) 


n=ttl n=t+l 


FLA, nm Kronecker KACH n=m Hf, Onn =1s 4nAmitt, nm =0), Ho =ELY;} 
RY, e-o BY SAL SOF a) 

BK, FH ERRATA A, WR Er FG All A AR A PE THY, o ERENS SO 
Fa FPF (Za roo CZ, be — > FA IE AK BEL EL)» PRO ARE Z, | OX, 的 最 优 非 因 
果 估 计 ， 则 相应 的 因果 Wiener-Kolmogorov 估计 可 由 上 述 全 疾 因果 佑 计 的 直接 截断 得 到 [如 
式 (5. 4. 33) 所 示 ]。 既 然 序列 {2Z,}=- 应 该 具有 恒定 谱 ， 则 相应 的 因果 估计 值 为 


= P iZ (5. 4. 35) 
其 中 


a 


ha = E| tre we™dw = Cun), 20 (5. 4. 36) 
Td —x 


xz A Cxz PB A(X, roo A Zn haeo BY RS 7 BE o 
与 3.2 节 和 5. 2 T R EE RE He Hr HM i Tid EY BEE LORE CY} RRA 
AEA AEI (Z,)2 EAB. AZ AT TR, BRY, SESE FY, bho 对 
Y, 的 最 优 线性 预测 ， 即 假设 对 于 所 有 ZE H' ,六 ,1 使 E{(Y, 一 2)?) 最 小 。 同 时, 4 oF 
为 该 预测 的 均 方 误差 ， 即 
é = E{ (Y, 一 立 1)2) (5. 4. 37) 
ELFI, -A 





O “ 白 ” 指 由 零 均值 非 相关 随 机 变量 构成 的 广义 平稳 序列 ， 相 应 序列 在 wE€[ 一 x*，x] 上 具有 恒定 功率 谱 。 因 此 ， 
与 白光 中 不 同 波长 的 所 有 可 见 光 分 量 均 相 等 的 情况 类 似 ， 称 其 为 ^ 白 序列 ”。 
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Y,— Ê, 
z, = hn, nEZ (5. 4. 38) 


BZ,€H*.. UHE(ZI}=1, E{Z,}=0 H cov(Z,, Z,)=E{Z,Zm}o 24 m<n 时 ,根据 
ZE 万 -< 时 的 正 交 性 原理 ， 有 


ZEW, 4m>n tA E{Z,Z,}=0 Rar. Alb, AEZ Z) WAY, 2 WAR 
性 变换 得 到 。 

如 果 能 够 证 明 利 用 {2,} 芝 -=- Yn oo 进行 线性 最 小 均 方 误差 估计 等 价 ， 则 因果 
Wiener-Kolmogorov 估计 问题 就 可 简化 为 单 步 线性 预测 问题 。 这 是 因为 单 步 线性 预测 可 用 来 
对 式 (5. 4. 38) 所 得 的 观测 样本 进行 预 白 化 处 理 ， 利 用 预 白 化 后 的 数据 ， 根 据 式 (5.4. 35) 和 
式 (5.4.36) 可 直接 得 到 X, 的 因果 估计 。 事实 上 , A (Y, o 的 功率 谱 满足 一 定 条 件 时 ， 
(Zn -与 (7) 之 -等 价 是 成 立 的 。 为 了 说 明 这 一 点 ， 现 基于 线性 预测 问题 给 出 进一步 分 析 。 

1. 线性 预测 

考虑 X, 王 Yi 时 的 因果 Wiener-Kolmogorov 问题 ， 其 中 ,4 为 正 整 数 。 注 意 ， 当 4 二 1 
时 ， 该 问题 与 Levinson 问题 类 似 ， 只 是 这 里 的 观测 样本 在 时 域 上 可 回溯 至 一 2 时刻。 为 
了 对 该 问题 进行 求解 ， 首 先 给 出 线性 预测 理论 中 的 核心 结论 。 

命题 5. 4. 1 谱 分 解 定理 

假设 (7,)} 江 -的 功率 谱 服 从 所 谓 的 Paley-Wiener 条 件 ， 即 


oy A + logie Cw) daj > co (5. 4. 39) 


— BT. 
则 dy TUBA by (w) =F) (w) by w), 一 x 三 w 壹 x， 其 中 ,， Of 和 $y BHR Cw) |? = 
| dy Cw) |? =¢y (w) 4 HA AL, BP 


f Elai do = 0 n<0 (5. 4. 40a) 


al $5 (w)e™ dee = 0, n>0 (5. 4. 40b) 
DN) x 
wep, 4 OS Fo dy 被 分 别 蔡 换 为 1/ 开 Fo l/h 时 ， 式 (5. 4.40a) 和 式 (5.4. 40b) 依 然 成 立 S 。 

证 明 完整 的 证 明 过 程 由 Ash 和 Gardner(1975) 给 出 。 在 这 里 简要 给 出 证 明 过 程 所 涉 
及 的 主要 思想 。 

首先 ， 由 于 log(z) 是 zz 的 四 函数 ， 则 由 Jansen 不 等 式 可 得 

EA Iog( 去 | by (w) dw |= log(E{Y?}) < co 

因此 ， 式 (5. 4. 39) 中 所 述 条 件 与 条 件 |co | 二 等 价 。 从 而 ， 可 以 给 出 logdy 的 离散 傅 里 叶 . 





© 注意 ， 式 (5.4. 39) 表 明 几 是非 零 的 。 因 为 | Ww) |? =| oy CW) | :一 办 (wo)， 可 得 此 A dy 也 必 为 非 零 的 ， 从 
ml/g Al 1p 均 是 有 意义 的 。 当 1/ 虹 满足 式 (5.4.40a) 时 ， 称 时 为 最 小 相位 。 
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log 办 (wo) = > ae, -—xr<w<n (5. 4. 41a) 
其 中 
Gy A + ewloghy(w), nEZ (5. 4. 41b) 
Fast (5. 4. 41a) 可 得 
by (w) = exp{ >) ce") = $$ (w) $y (w), ron (5. 4. 42) 
其 中 
时 Co) aexr(S + Dice | (5s 4343) 
且 
By Co) A exp G + ee | (5. 4. 44) 


接 下 来 ， WEH dy 和 $y 满足 谱 分 解 定 理 所 需 的 性 质 。 为 此 ， 首 先 需要 指出 的 是 所 有 功 
率 谱 密度 均 是 偶 对 称 函 数 [ 即 如 (一 w) 二 加 (w)]， 该 结论 可 直接 由 Cy 的 偶 对 称 性 得 到 。 由 
Py Cw) RI MA XF ER FE HJ FẸ log 办 (wo) 也 是 偶 对 称 的 ， 从 而 进一步 可 得 式 (5.4.41b) 中 的 系数 
(co 一 -= 均 为 实数 且 是 偶 对 称 的 ( 即 cn =e, = en )。 从 而 有 


by (w) = exp $+ Sene |= exp| > + eeiw j= [$+ Cw)]* (5.4. 45) 
n=1 n=1 
式 (5. 4. 45) 表 明 


| $y (w) |? = | $$ Cw) |? = H Cw) [$¥ Cw) 1" = $F Cw) Py Cw) = Fy Cw) 
为 了 证 明 式 (5. 4. 40a) ， 首 先 考虑 到 e* 具有 如 下 的 震级 数 展 开 式 


d= i (5. 4. 46) 
从 而 有 
8 (wo) = r 3 ( Sree)’ /at) (5. 4. 47) 
= n=1 


考察 式 (5. 4. 47) 可 知 ， 等 式 右边 仅 包 含 e “MAEM UE. A YY (wow) 的 负数 下 标的 傅 里 
叶 分 量 均 为 0， 即 式 (5. 4. 40a) 。 式 (5. 4. 40b RILE 1/47 和 1/ 闻 下 的 类 似 情 况 也 可 通过 





相似 证 明 过 程 加 以 论证 。 











值得 注意 的 是 ， 将 by 进行 谱 分 解 得 到 因果 部 分 与 反 因果 部 分 的 乘积 形式 与 将 协 方差 
和 矩阵 进行 Cholesky 分 解 为 上 三 角 因子 和 下 三 角 因子 是 类 似 的 。 

可 以 利用 命题 5. 4. 1 中 的 谱 分 解 去 求解 线性 最 小 均 方 误差 预测 问题 。 为 此 ， 在 接 下 来 
的 讨论 中 ,， 若 没有 特别 说 明 ， 均 假设 by 满足 式 (5.4.39)。 考 虑 具有 传递 函数 HC(w) = 
1/ 灶 (wo) 的 时 不 变 线性 滤波 器 。 可 见 ， 这 是 将 式 (5.4.40a) 用 1/ 监 代 换 所 对 应 的 因果 滤波 
器 。 假 设 将 序列 {Y,} 守 -= 作用 于 该 滤波 器 ， 并 设 { 克 ,) 江 -~- 为 相应 的 输出 序列 。 在 二 阶 随 
机 序列 分 析 中 ,“ 广 义 平 稳 过 程 作用 于 线性 时 不 变 滤波 器 后 的 输出 仍 为 广义 平稳 的 ， 且 输 
Hy et FE Dy RE | Hw) |?%(w)” 这 一 结论 是 众所周知 的 。 其 中 ， 互 为 滤波 器 传递 函数 而 
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为 输入 功率 谱 [ 证 明 由 Wong(1983) 给 出 ]。 因 此 ，{W,} 写 -为 广义 平稳 序列 ， 对 应 的 功 
率 谱 为 

ii _ _ frw) 
Py Cw) | Py Cw) |? 
由 于 恒定 功率 谱 对 应 白 序列 ， 可 知 滤波 器 1/ Cw) HE Y, DB a. EAR, 
{Yn r=- RI H (W, ie EA TRA E RA by (w) 的 因果 滤波 器 得 到 ， 即 


Pw Cw) = =], ~n [wr (5. 4. 48) 








Ye = 3)» IEZ (5. 4. 49) 
其 中 


tn = 去 | ty (we"dw, n>O0 (5. 4. 50) 


ICS. 4.49) 2 TA AFIT, Be PE END AS BE OB Be a TH CY fo PREIS. TAR 
ASU FA PLY, o EE E.R, AO 时 


tha tha 


Yura = 2) furanW, = Dy fom W, + Ps furanW (5. 4. 51) 


HFW, e EAR EE Wa ，…， Was {Wp} h-o ER: 同时 ， 由 式 (5. 4. 49) 可 知 
它们 与 日 “~ 正 交 。 整 理 后 可 得 


Yun 一 È faa, = = 2 方丈 


从 而 可 得 Yi 一 D>) fan Wa GH. iE. HF 5 forn W, © HH'， 则 由 正 交 性 原理 可 
知 ， 基 于 {Y,) 和 -< 对 YY 的 最 优 线性 预测 为 


Fia = 2 Poa. (5. 4. 52) 
式 (5.4.52) 对 应 的 线性 预测 滤波 器 可 以 理 
解 为 两 个 线性 时 不 变 滤波 器 的 级 联 ， 如 Toe Y 





图 5. 4. 1 所 示 。 其 中 ， 第 一 个 滤波 器 是 传 
递 函 数 为 1/ 籽 (wow) 的 白化 滤波 器 。 第 二 个 


图 5.4.1 最 优 纯 预 测 滤波 器 


滤波 器 具有 如 下 冲 激 响 应 
Fras neo 
| (5.4; 53) 
0s w< 0 
MR LAF LA w) ]+ 如 下 
(Hw), = Shei (5.4.54) 


其 中 , m= | Hore de» WEG. 4.53) 8 NE BL ALA He OME AY od]. 。 因 


I, à regener hae 


ae F(a ce fF Wa A H, w) (5. 4. 55) 


综合 式 (5.4.49) 和 式 (5.4.52) 可 得 到 最 优 线性 预测 的 均 方 误差 表达 式 。 特 别 地 ， 由 
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式 (5. 4. 51) 可 得 
MMSE = min E{(Y,,, — Z)?} 一 民 {(Y —Y,,)"} 
ZE Ht. 


tha 2 tha G. 4. 56) 
=E| ( 2 fm W,) | = Dy fe 
其 中 ， 最 后 一 个 等 式 可 由 Wii，Wiis，… 与 Wii 之 间 的 正 交 性 得 到 。 对 式 (5.4.56) 中 的 
变量 下 标 进 行 变 换 后 ， 可 得 
MMSE = J f (5. 4.57) 
由 于 是 是 的 n BME BOAR, WARS, aA ARG. 4.47) 得 到 ， 尽 管 在 4 较 大 时 的 
求解 过 程 会 较为 元 长 。 特 别 地 ， 就 一 步 预测 4 二 1) 而 言 ， 由 式 (5. 4. 47) 易 知 wo 一 em/: 。 因 
此 ， 一 步 预测 对 应 的 最 小 均 方 误差 值 为 
MMSE = exp| =|" log co)do (5. 4. 58) 
该 结果 被 称 为 Kolmogorov-Szego-Krein 公式 。 
式 (5.4.51) 和 {W,) 世 -的 正 交 性 表明 有 


MF = E{(Y n) } < œ (5. 4. 59) 
对 比 式 (5. 4. 57) 和 式 (5. 4. 59) 可 知 ， 如 果 期 望 预 测 得 更 远 ( 即 增 大 X)， 则 相应 J 
预测 误差 将 趋 近 于 期 望 预测 的 量 的 均 方 值 。 也 就 是 说 ， 如 果 设 定 了 想 要 预测 {Y; e- 的 时 


刻 ( 即 设 定 t 二 和) 并 让 i BEF — co, WY 1 一 2 时 的 观测 样本 对 md 
即 对 于 给 定 的 xn， 任意 Y, 均 无 法 由 无 限 远 的 过 去 值得 到 。 具 有 这 一 性 质 的 序列 被 称 为 纯 非 


确定 性 的 ， 并 且 ， 当 且 仅 当 序列 具有 表达 式 S fW, 时 才 具 有 上 述 性 质 ， 其 中 ， 


站 一 一 cc 


W, ho-o iE A R E 2 二 oo。 命题 5.4.1 及 后 续 分 析 表 明 Paley-Wiener 条 件 是 上 述 表 
达 式 成 立 的 充分 条 件 。 同 时 ， 也 可 以 证 明 ， 该 条 件 也 是 上 述 表达 式 成 立 的 必要 条 件 [L 详 见 
Ash 和 Gardner(1975) 的 相关 讨论 ] 。 

在 明确 了 宽 平 稳 序 列 的 因果 预 白化 理论 之 后 ， 接 下 来 开始 讨论 对 广义 因果 Wiener- 
Kolmogorov 问题 的 求解 。 特 别 地 ， 假 设 {Y,) 江 -满足 Paley-Wiener 条 件 ， 则 可 将 其 通过 
滤波 器 1/dy 后 得 到 相应 的 白化 结果 ( 即 白化 为 12,) 芝 -= )。 接 下 来 ， 仅 需要 求解 互 功率 
谱 $xz ， 并 根据 式 (5. 4. 35) 和 式 (5.4. 36) 求 解 级 联 于 预 白 化 滤波 器 之 后 的 最 优 滤波 器 
“ie LFSC h 的 定义 与 式 (5. 4. riol: peaa 如 果 将 

小江- 通过 传递 函数 为 互 的 滤波 器 后 得 到 {2,) 二 -=-， 则 有 $xz =o. A, H 

H=1/¢y 可 得 





© ”等 价 地 ，Parceval 公式 给 出 
DR= l | $F Cw) | ?ds = 云 | Padis = EWE, Ez 
n=0 z 一 x 
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$xy (w) _ $xy (w) 
LA Cw] By Cw) 
则 基于 {Y,);-_ 估计 X, 的 因果 Wiener-Kolmogorov 滤波 器 具有 如 下 传递 函数 


1 pxy (w) 
| | (5. 4. 61) 


对 比 非 因果 Wiener-Kolmogorov 滤波 器 的 传递 函数 [ 详 见 式 (5.4. 11)] 


pxy (w) 1 | 
py Cw) $y Cw) L Py Cw) 


显然 ， 上 述 两 种 滤波 器 均 可 以 表示 为 一 个 因果 预 白化 滤波 器 与 另 一 个 滤波 器 级 联 的 形式 。 
对 于 非 因 果 滤 波 器 ， 第 二 个 滤波 器 为 $xy/ 和 如 ， 而 对 于 因果 滤波 器 ,第 二 个 滤波 器 对 应 
Pxy/by 的 因果 部 分 。 

2. 有 理 谱 的 因 式 分 解 

设计 因果 Wiener-Kolmogrov 滤波 器 的 关键 步骤 是 对 观测 谱 内 进行 因 式 分 解 。 由 于 可 
Ut dy 和 $y 写 为 包含 log 办 ME MM RM ic, be 的 形式 [ 详 见 式 (5.4.43) 及 
式 (5. 4. 44)]， 则 上 述 因 式 分 解 可 以 通过 对 c, 的 计算 来 实现 (相应 频谱 的 对 数 称 为 倒 频 
谱 ) 。 然 而 ， 实 际 应 用 中 ， 对 所 关心 的 大 多 数 频谱 来 说 ， 频 谱 的 因 式 分 解 可 以 通过 对 复 多 
项 式 的 因 式 分 解 实现 。 下 面 主要 讨论 对 这 一 类 频谱 的 因 式 分 解 。 

如 果 随 机 序列 {Y,}2-_- 的 功率 谱 可 以 写 为 两 个 实 三 角 多 项 式 之 比 的 形式 ， 则 称 其 为 有 
理 谱 。 如 果 $ 为 有 理 谱 ， 则 有 


$xz (w) = 





(5. 4. 60) 











(5. 4. 62) 


p 
my + 2 > mcoskw 
k=1 


$y (wo) = 一 一 一 二 一 一 一 一 (5. 4. 63) 
do +2>)d,cosku . 
p, mHip 均 为 正 数 且 no，…，ns Mdo, s, dn 为 实数 。 实 际 应 用 中 ， 当 m Ap 足够 
大 时 ， 很 多 随机 序列 的 功率 谱 均 可 近似 为 有 理 谱 。 由 于 有 理 谱 必 关于 w= 0 偶 对 称 ， 
式 (5. 4. 62) 中 的 多 项 式 仅 包含 余弦 项 。 
由 于 2coskw=e* +e, 3005. 4. 63) 中 的 频谱 可 写 为 





办 (Co) = yen (5. 4. 64) 

其 中 ，N 和 DD 均 为 复 变 量 z 的 多 项 式 ， 定 义 为 
N@ = Sve (5. 4. 65a) 

Z 

P ; 
Diy = Sd ja” (5. 4. 65b) 

Pat 


由 于 zeN(z) 为 2p 阶 多 项 式 ， 因 此 有 2p 个 根 ， 且 可 以 写 为 n, [| (z 一 z)。 因 此 ， 可 得 


N(z) = ge? | te= 2) (5. 4. 66) 
由 于 NGCz) 王 NGCLI/z)， 则 多 项 式 的 根 mm ，…，zz 必 互 为 倒数 。 即 当 根 x 存在 时 ， 必 存在 


第 5 章 信号 估计 基础 


Fa BS L 2ko 为 表达 方便 ， 假设 Zis "3 zzp 满 足 |zi | S| xp | Se | z2 |， 则 有 
N(z) = B(z)B(1/z) (5. 4. 67) 
其 中 


b 
BC) = [C D’n,/ziz z] [| (et — z) (5. 4. 68) 
k=1 


由 于 |zi |> |z| ee Sl ee |, 有 |zzs |=1/|z|, [zai | = 17 lz |, ty Lvs | = 1/ 
lo | 成 立 ， 且 满足 |z | 宇 |zi | 宇 … 宇 |z, | 宇 1。 进 而 可 将 B(z) 展 开 为 


p 
BCz) = >be (5. 4. 69) 
k=0 
D(z) = A(z)AC/z) (5. 4. 70) 
其 中 
Ale) = [d,/ pipe dnl”? [| 7 —p) = Saez (5.4.71) 
k=1 k=0 


其 中 ,|pi| 宇 |pi| 宇 … 宇 |p, | 宇 1。 
由 上 述 分 析 可 知 ， 有 理 谱 加 (w) 可 写 为 


BCe'*) Ble”) 
Pr Cw) = AAE) 


在 后 续 分 析 中 ， 假 设 B(z) 和 A(z) 的 根 均 不 在 单位 圆 |z| = 二 1 上 ( 即 假设 |z, | 之 1 E | pn |> 
1)， 这 可 保证 加 (w) 是 有 上 界 的 ， 且 下 界 远 离 零 值 ， 从 而 满足 Paley-Wiener 条 件 ]。 易 知 
B(e*)/A(e*) 和 A(e*)/B(e*) 均 为 因果 稳定 的 传递 函数 [ 详 见 Oppenheim 和 Schafer 
(1975) 的 分 析 ], 而 Ble “*)/A(e“) 和 A(e“)/B(e“) 均 为 反 因 果 稳 定 的 传递 函数 。 由 
上 述 分 析 和 式 (5. 4. 72) 可 得 py 的 频谱 因子 为 





(5. 4. 72) 


P Cw) = Ble”) /ACe) (5. 4. 73a) 
和 
by (w) 一 [ 籽 (wo)] = Ble *)/A(e ™*) (5. 4. 73b) 
{Z} 守 -对 应 的 白化 滤波 器 由 下 式 给 出 
1 (5. 4.74) 





lwo) Be) 
EH, #M(Z, -KRAKE WMH Y,, ) 汪 -作用 于 滤波 器 A(e*) 时 的 输出 与 将 
(Z) e- TE FA FB YS BCe*) 时 的 输出 相同 。 由 式 (5. 4. 69) 和 式 (5. 4.71) 可 知 ，A(e*) 和 
Ble*) 的 冲 激 响应 分 别 为 


n? < < 
fs Ne (5. 4. 75) 
0, 其 他 
和 
Ons 0<n<p 
(5. 4. 76) 
0, 其 他 


这 表明 {(Y,} 世 -<- 和 (2,) 演 -< 具有 如 下 关系 
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Tafa Nha E2 (5.4.77) 
BFI Z Z 满足 下 列 递归 公式 

ip, == Fe aTa (5. 4. 78) 
该 递归 公式 给 出 一 个 有 限 维 的 线性 数字 滤波 器， 如 图 5. 4. 2 所 示 ( 图 中 = 表示 单位 延 时 )。 











图 5.4.2 有 理 谱 序列 的 白化 滤波 


根据 式 (5. 4.77), (Yn } pico AY HH AZ, be oo FR AGP BA A AGG 


aY, == Saka 十 ae nez (5. 4. 79) 

由 白 序列 按照 上 述 方式 产生 的 序列 称 为 具有 自 回归 阶 数 mm、 滑 动 平均 阶 数 的 自 回 归 - 滑 
动 平均 序列 ， 或 称 为 ARMA(m, p) FFI, ARMA(m, OFIERA m 阶 自 回归 序列 
LAR(m)]， 而 ARMA(0，p) 序 列 也 称 为 p 阶 滑动 平均 序列 LMA(p)j]。[ 当 m= 二 0 时 ， 
式 (5. 4.79) 中 的 第 一 个 求 和 项 为 0。]ARMA 模型 与 Kalman-Bucy 滤波 中 的 状态 空间 模型 
密切 相关 ， 且 其 滤波 性 质 可 参考 Anderson 和 Moore(1979) 的 相关 讨论 。 

广义 马尔 可 夫 序列 的 纯 预 测 

广义 马尔 可 夫 模 型 是 宽 平稳 随机 序列 分 析 中 的 一 个 简单 但 非常 有 用 的 相关 结构 模型 


Cy(n) = Pr'!"!, nEZ (5. 4. 80) 
Hp, |r|<1 A P>o. FARA Ri ALE ML Thomas(1971) HES J 
eae 
‘tet = — (5. 4. 81) 





1 — 2rcosw + r° 
显然 式 (5. 4. 81) 为 有 理 谱 。 利用 2cosw=e" +e”, A 


gy = PAa— r) A Pa-—r) 1 


- a m - 5.4. 82 
l— re! — re" +r (G —= re") — re) ACe)ACe “) cca 





其 中 
A(z) = ao 十 az (5. 4. 83) 
(6.4.83, P(t 
BRR BERT Y, | EGE A 步 预测 ， 则 最 优 预测 对 应 的 传递 函数 可 根据 式 (5. 4. 55) 求 
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解 。 在 本 例 中 ， 传 递 函 数 可 表示 为 





加 a elie’ 
A lo) = Ale eae (5. 4. 849 


利用 等 比 数列 的 相关 结论 ， 当 |z| <1 时 ，》) z+ 二 1/(1 一 x) 。 有 下 面 的 表达 式 成 立 





1 23 1 mal = 
ra aicn aAa (5. 4. 85) 


由 于 |7| 过 1， 上 式 在 |z| ==1 KA, E 1/A(e*) = C/a) merim 成 立 ， 继 而 可 得 到 


全 i = nine |) co ol < n Cn) 
laces, [ aus {= are 





hg: Fo as — 
eo = Pariul 二 yam 
meee Ate) (5. 4. 86) 


综合 式 (5. 4. 84) 和 式 (5. 4. 86) JER H He Ht TL A 72 eb PK Hw) =r*, BALE ee 
优 预测 对 应 一 个 纯 增 益 。 显 然 ， 该 预测 器 对 应 的 冲 激 响应 为 ho =r* Ah, =0, n AO, PET 
Yin = rY, (5. 4. 87) 
由 式 (5. 4. 87) 和 式 (5. 4. 80) 易 得 预测 误差 的 均 方 值 为 
Ee, —¥ 4,0") =E Yia} — Elie Ya) 
=E(Y2,)— PE (Y¥.4¥,] = G0) — rCy (a) 
=P(1—r*) (5. 4. 88) 
因为 |r| 二 1， 随 着 4 由 1 变化 到 ce， 相 应 的 预测 误差 由 (1 一 字 )P 单调 增加 至 P。 4 
AR(m) 序 列 的 纯 预 测 
由 式 (5. 4. 83) 可 知 ，AR(1) 序 列 是 一 种 广义 的 马尔 可 夫 序 列 。 特 别 地 ， 按 如 下 方式 生 
成 节庆 se 
Yur = rY, +[PA— r] Za, tEZ (5. 4. 89) 
Hp, (Z,)-.8 AM. BW Za 5 Z,h- M Yni ER, WA KR CS. 4. 89) 可 得 
Yui ry, SAY, }i-- IE, H h EZERT rY, 是 基于 {Y,);- -估计 Yri1 时 的 最 小 
均 方 误差 线性 估计 。 这 是 式 (5. 4. 87) 中 令 AHL 时 的 情况 。 
类 似 地 ， 对 任意 的 自 回 归 序 列 有 





Yen == Sat me +bZui, tEZ (5. 4. 90) 
k=1 
(为 不 失 一 般 性 ， 令 a=1D) ， 则 Ya + >)aYy po2 与 (7Z) 和 -= 正 交 。 继 而 可 得 最 优 单 
k=l 
步 预 测 为 


Ya = Soe (5. 4.91) 
k=l i 


易 知 最 小 均 方 预测 误差 为 
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MMSE = E{ (Yui + Dua Yana) )= EZ?) = BEZa) =b (5.4.92) 
k=1 


对 于 AR(1) 序 列 , 如 二 P(1 一 r),， 且 这 一 结果 与 式 (5.4.88) 一 致 。 综 上 所 述 ， 由 
Kolmogorov-Szegé-Krein 公式 (5. 4. 58) 可 得 


5 = exp| 直 | logt Codu] (5. 4, se 
白 噪声 背景 下 对 广义 马尔 可 夫 序列 的 滤波 、 预 测 和 平滑 
考虑 如 下 观测 模型 
Y, = SHAN, nE€Z (5. 4. 94) 


HEP, (S,}2-. MN, WAS) MRP, HAEE. BRN, e- 为 白 
Feo, H E(N?) Sv, (S,}2-. AT MORK, H Cs(n)=Pr'"!, neZ, BS 
Bil 5. 4. 2R H Sp heo MN, ree LB TE BO HE, AT FE MOU RR AS BY EO 
P(l—?’*) Ly 
a>r dre) | 
Pdr’) +0h — re”) re!) 
(1—re'?)(1— rei”) 





by (w) = $s Cw) + nw) = 
(5. 4. 95) 





易 知 ， 上 述 频谱 为 有 理 谱 。 

dy 中 分 母 多 项 式 已 经 按 A(z)A(1/z) 的 形式 进行 了 因 式 分 解 ， 其 中 A(z) 二 1 一 rz 。 
分 子 多 项 式 为 N(z) 二 nz 十 no 十 mz !， 其 中 加 二 PO 一 7) 十 wW(1 十 7) 且 二 一 vwr。 利 
用 二 次 公式 有 





N(z) = m2) (z— 2) (2-1/2) 
且 

zy =— [Cn — 4n?) + no]/2ni 
HFle|>1, Aub N&D S=B)BA/z), HH 





Boz) = Jo m/e! — wi) =b +b) z' (5. 4. 96) 
Ebim z y =ni ži» bi = s4 nil Zi o 相应 的 白化 滤波 器 传递 函数 为 
1 _ A) _ lre” (5. 4.97) 


$y Cw) Be”) bo +bhe 
同 例 5.4.1, HAMS RIS Je ECON AIM RATT. BP X, = Sao A 

应 的 互 功率 谱 为 [参考 式 (5. 4. 24) J 
PO — rer 








= iwà = z i 7 A 
$xy (w) = hps Cw) AEE (5. 4. 98) 
将 式 (5.4. 97) 和 式 (5. 4. 98) 代 入 式 (5. 4. 61)， 可 得 最 优 滤波 器 的 传递 函数 为 
Ate“) r PU —r’ de® 
Hw = z z = 
i) LA Ce”) Ble) 
BCe ;| Ce e (5 40903 





l—re [ Pd —?r ei” | 
= | (1—re™)(bo +b e) Jy 


为 简化 式 (5. 4. 99) ， 引 入 下 列 关于 复 变 量 = 的 函数 


fies 三 tale Ez) (5. 4. 100) 
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继而 利用 部 分 分 式 展 开 可 得 
A e B! | k' 
A(z) te (5. 4. 101) 
其 中 , a= b/b Hk’ =5PA>r)/ C tbr). HPS ERA Ke AIP 
H(z) = k' DO rz! HR > ai" = bre 十 DR zie (5. 4. 102) 
n=0 n=0 ji n=0 n=— oo 
则 让 对 应 的 冲 激 响应 为 
hist, n=0 
f, = 42k’, n=0 (5. 4. 103) 
k'r, n>0 
故 eiw AAT Ne BS h BB mg ye É 
kizizt, n<—A e 2k! 
na = 42K ， n=—A (5. 4. 104) 
Pe; ass A dp 
滤波 器 名, 如 图 5.4.3 Pra. WBA) A a 
Le A CoD] THA n RA ARFA. — eh she LE e 
n 
由 式 (5. 4.104) A, 4YA>O 时 ， 截 断后 m o ee is ee ee 
的 冲 激 响应 为 图 5.4.3 滤波 器 e” Aw) AY I 
0， 0 
h, = ssi (5. 4. 105) 
krr", n<0 
当 ) 委 0 时 
0, nZ o 
k' A ae o< = 
ae ae (5. 4. 106) 
2k', n 二 一 入 
k'r", 7 二 一 人 
A<X<O BAO 时 的 滤波 器 分 别 如 图 5. 4. 4 和 图 5. 4. 5 所 示 。 
h, 
A 
4<0 A>0 
= | ‘rn fer 
gh ea es ee ee | 9- 个 --9?-- 
1 一 4 3 4 5 6 i = 0 1 2 3 4 5 
图 5.4.4 4a<o WURDE ale AC) J 图 5.4.5 当 )>>0 时 滤波 器 [e” 户 (w)]; 
的 冲 激 响 应 (平滑 ) 的 冲 激 响 应 (预测 ) 


进一步 地 ， 对 预测 滤波 器 (这 0) 进 行 分 析 。 由 式 (5.4.105) 可 得 
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LT ( iw = h Ho es kr? 
Ce”) => REO se ae (5. 4. 107) 
联 立 式 (5. 4. 99) 和 式 (5. 4. ‘sts |S Ge pa ae AE A BOW 
A, k'r? _ h'r? /by 
H(w) ee i (5. 4. 108) 
因此 ， 最 优 预测 器 对 应 的 冲 激 响应 为 
Os n=0 
h, = {hea asi (5. 4. 109) 


等 价 地 ， 也 可 采用 下 列 递归 公式 对 最 优 预测 器 进行 描述 
Suan = = Sante + ry, LEZ (5. 4. 110) 
其 中 ，S MS ,1 分 别 表示 基于 {Y,);-_。 对 So AI Eè N A E F Y, i 对 
S144 的 最 优 预 测 。 当 vk =O ERREF), Sa TIR 5. 4. 2 中 的 纯 预 测 结果 。 
下 面 进一步 讨论 单 步 预测 滤波 器 (= 王 1)。 由 代数 变换 易 得 z7! =r—kr/b, RA 
式 (5.4. 110) 可 得 
ee (5. 4. 111) 


上 式 与 5. 2 节 所 述 Kalman-Bucy 预测 滤波 器 类 似 ， 即 通过 相同 方式 在 状态 空间 模型 中 对 单 
步 预测 结果 进行 更 新 。 事 实 上 ， 此 时 的 {S,} 生 -= 为 一 个 AR(1) 序 列 ， 因 此 可 由 下 列 递 推 
公式 得 到 [参考 式 (5. 4. 89) ] 





Sin = HEPA- r] PW, nez (5. 4. 112) 
Ap, (Wp) cdi ado bra oo FY fg SAY BH CSAS) 。 观 测 模型 为 
Ys =S +N, n2€Z (5.45 1129 


HP, (Nabe te TA on ERS. HP ON) oe SS, Hae FW) ee IE 
交 ， 因 此 式 (5. 4. 112) 与 式 (5. 4. 113) 均 为 正 交 白 噪声 条 件 下 的 标量 时 不 变 Kalman-Bucy 模 
型 。 所 以 ， 由 例 5. 3.2 可 知 ， 基 于 Kalman-Bucy 滤波 器 可 得 已 知 {(Y,; n<) REFI S, 
和 S,+i 的 线性 最 小 均 方 误差 估计 。 与 5. 2 节 中 的 情况 不 同 ， 式 (5.4. 112) 和 式 (5. 4.113) 均 
为 平稳 模型 或 稳 态 模型 。 因 此 ， 相 应 的 Kalman-Bucy 预测 滤波 器 为 例 5. 2. 2 中 推导 结果 对 
应 的 稳 态 形式 ， 且 与 式 (5.4.111) 中 对 等 效 参 数 的 有 效 识 别 相 一 致 。 此 外 ， 例 5. 2.2 中 的 
Kalman-Bucy 模型 参数 (a,，b，c，g，7) 在 这 里 被 设 定 为 (r，VPQ 一 7?), 1, 1, 4). 
因此 ， 在 标量 时 不 变 情 况 下 ， 可 以 把 Wiener-Kolmogorov 滤波 器 看 作 Kalman-Bucy 
滤波 器 的 稳 态 形式 , 或 者 相应 地 ， 将 Kalman-Bucy 滤波 器 看 作 包 含 瞬 态 的 Wiener- 
Kolmogorov 滤波 器 。 事 实 上 ， 对 于 白 噪 声 背景 下 的 有 理 谱 信号 而 言 ， 平 稳 时 不 变 的 
Kalman-Bucy 滤波 器 与 Wiener-Kolmogorov 滤波 器 之 间 的 上 述 关 系 总 可 以 得 到 类 似 证 明 
[ 详 见 Anderson 和 Moore(1979) 给 出 的 进一步 讨论 ]。 此 外 ， 上 述 两 种 滤波 器 也 可 适用 于 
其 他 模型 ， 例 如 ，Wiener-Kolmogorov 滤波 可 适用 于 更 普遍 意义 下 的 信 品 频谱 模型 ， 而 
Kalman-Bucy 滤波 也 可 适用 于 时 变 和 非 平稳 状态 空间 模型 。 < 


5.5 习题 


1. 直接 证 明 ( 即 不 利用 结论 名 | ，; =E(X, | Yo") 
AIX, ,二 E{X, | Ys))Kalman 滤波 器 产生 的 滤波 
误差 和 预测 误差 均 与 数据 正 交 ， 即 证 明 


E{(X,—X,)¥7} =0, 0<k<t 
(5.5.1) 
All 
E{(X,—X,,.¥7} =0, 0<k<t-1 
(5.5. 2) 


其 中 ，0 表示 全 零 矩 阵 。 
. 假设 Kalman-Bucy 模型 中 的 状态 方程 被 改写 为 
如 下 形式 
Xin = FLX, + GU, Ts 

HP, (s) AABAA, (ne AAR 
有 适当 维度 的 已 知 和 矩阵 (例如 ，{s } 估 "可 以 是 一 组 
控制 量 )。 计 算 相 应 的 Kalman-Bucy 递归 表达 式 。 
. 当 每 个 s 均 可 表示 为 过 去 测量 值 的 函数 时 ， 重 
做 习题 2， 即 s 可 表示 为 中 的 函数 (例如 ， 
{s%} 亿 可 以 是 一 组 反馈 控制 量 ) 。 
. 假设 回 到 对 原始 Kalman-Bucy 模型 的 讨论 ， 但 
允许 利用 状态 变量 和 测量 噪声 间 的 相关 性 ， 即 
除 下 列 条 件 外 其 他 条 件 均 如 前 所 述 

CG, k=l 

0, kÆl 
HF, G 为 具有 合适 维度 的 和 矩阵。 证 明 : 
Kalman 预测 可 由 下 列 方 程 给 出 

Ky =F Ra t KO, — H, $a) 


cov(U; ,V1) = 


A 
Xo. = mo 

其 中 

K, = (FB 1Hi + G.C,) (H, £a- H7 +R, ) 
和 

Sao =E Rial 
— K, (FE... H7 +G,C,) + GQ,G7 
且 
Bi = cov(X, ) 


5. 考虑 如 下 模型 (Xi 为 标量 ) 


Ken = 1X, +U, k= Ole 


Y, = OX, + Vis k=0,1,°" 


. 假设 O, Z, Z, os 
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其 中 ，U。， Ui ，… 为 独立 同 分 布 的 WC0，9) 随 

机 变量 ,，V。，Vi，… 为 独立 同 分 布 的 N(0, 7) 

随机 变量 ，Xe 为 一 个 N(0，5) 随 机 变量 ,， 且 

FA U, V, 和 Xo 均 相 互 独立 。 

(a) 假设 8 三 1 H r==g 二 1。 求 时 不 变 最 优 预 测 
RACK. OM MM MRED SD. 
写 出 此 种 情况 下 入 ;,, ,的 递归 表达 式 。 此 时 
的 均 方 预测 误差 是 多 少 ? 

(b) 假设 r=q=1AS 由 (a) 部 分 得 到 。 根 据 
k 二 0，1，…，n 时 的 观测 样本 ， 确 定 O=0 
或 9 二 1 的 最 优 判决 器 形式 。 


. 考虑 具有 状态 X 和 观测 样本 Y 的 标准 


Kalman-Bucy 模型 。 假 设 0 二 7 二 t 并 基于 Yi fi 
计 Xi 。 该 估计 问题 的 递归 表达 式 如 下 所 示 ( 基 
于 变量 1) 


Xi. = Xo HEY, — H, Xj) 
其 中 

Ki = Xim H [HE H +R, 1 
和 

Eha = Xim LF, — KH, |" 
H 
Bij = Eja 

H, Roais Boa. R, F, MK, 均 与 单 步 预 
测 问题 时 相同 。 
(a) 证 明 23) ,-1 SEIX; —X,,,-,) X7}. 
(b) WEHAX, ,, =E(X; | ¥5}. 


jle 


Z, 为 联合 高 斯 随机 向 


量 ， Zio Zs, s Z, 相互 独立 且 均 值 为 零 。 证 
H: BAZ. Z, oe, Z 时 对 @ 的 最 小 均 方 
估计 误差 由 下 式 给 出 


6= E(@| Z} —(n—1)E{0} 


k=1 


. 利用 习题 7 的 结论 推导 Kalman-Bucy 测量 更 新 


公式 (5. 2. 14a). 


- 考虑 如 下 观测 模型 : 


Y, = Ni Osk» k= 1,2, 
其 中 ， Ni; Nz, … 为 独立 同 分 布 N(0， o ) 随 机 
变量 ， O~N (ps YI N; 9 N:, … 相 互 独 立 且 
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So so HERP. $, 表示 已 知 页 ，…， 
Y, 时 对 9 的 最 小 均 方 估 计 误 差 。 将 该 问题 作为 
Kalman 滤波 问题 ， 给 出 6 和 最 小 均 方 估计 误 
差 E{ (6 一 @)*} 的 递归 表达 式 。 


10. 考虑 任意 随机 变量 {Xi} 六 。， 取 值 均 为 0 或 1。 


假设 对 于 所 有 的 整数 & 宇 1 和 随机 序列 
(ri) Eos ERFIR A 
P(X: = x | Xo = To, 
= P(X, = a | Xe = tes) A Pas, , 

考虑 观测 模型 

Yı = XN k=0,1,2,. 
其 中 ，{Ne) 亿 。 为 一 组 独立 同 分 布 的 随机 变量 ， 
B(X ) 定 独立 上 具有 边缘 概率 密度 函数 六 对 每 
个 整数 D0, SR RRA AMMA Yo, Yi, 
oy Y, 时 对 X, 的 最 小 均 方 估计 误差 Rw 
REAMME Yo, Yi, =, Yoa BEXT X, 的 
BUN HIRI, HR, _,=E(X.}. WEH: 
RMR WE PARA BAAR 
P Rafo —D 


Xi = 3 z ， 
X= Xfm) 


Xin = Te) 





t>0 


和 

Roau = Pia Ky +H pio O — Rau) t0 
且 初 始 条 件 为 名 ，_, = 二 P(X = 二 1)。 能 否 将 该 结 
论 推 广 到 满足 上 述 性 质 的 非 二 进 制 序列 ? 


- 证 明 : FQ (5. 3. 26) ~50 (5. 3.29) 给 出 的 Levinson 


算法 可 用 于 求解 Yule-Walker 方程 (5. 3. 25)。 


. 考虑 例 5. 4. 1 中 的 模型 在 4 二 0 时 的 情况 。 对 
S, 的 估计 如 下 
5 = 3 hy. z 
证 明 : 


Eln — Sua)?} = 去 ”11 一 Ho) | "$5 (odo 


+ 去 | | Hw) |" (ode 


BP, HOW Ch, )i o XA AY EB RK, HET 
上 述 误差 公式 中 右边 两 项 予以 说 明 。 


. 传递 函数 的 滤波 器 如 下 


$s Cw) 
$s Cw) + $n Cw) 


证 明 该 式 为 习题 12 中 误差 表达 式 对 应 的 最 
小 值 。 


H(w) = 


g 6z 
连续 时 间 信 号 检测 


6.1 引言 


在 前 面 的 章节 中 ， 假 设 观测 集 为 向 量 集 或 离散 集 ， 并 详细 论述 了 信号 检测 和 估计 的 基 
本 理论 。 不过， 无 论 是 求解 假设 检验 中 的 似 然 比 ， 还 是 计算 贝 叶 斯 估计 中 的 后 验 参 数 ， 或 
者 寻求 非 贝 叶 斯 参数 估计 中 的 最 大 无 偏 估计 和 最 小 方差 无 偏 估计 ， 密 度 族 函 数 {p,; OE A} 
在 整个 分 析 过 程 中 均 扮演 了 重要 角色 。 然 而 ， 正 是 由 于 在 观测 空间 上 需要 指定 密度 族 函 
数 ， 不 可 避免 地 限制 了 观测 集 的 形式 。 本 章 采 用 概率 密度 函数 和 概率 分 布 函数 并 对 其 进行 
积分 来 解决 上 述 问题 s 。 

虽然 离散 时 间 随 机 过 程 在 实际 应 用 中 占有 很 大 的 比重 ,但 是 同样 可 以 发 现 有 相当 多 的 
应 用 适用 于 连续 时 间 随 机 过 程 模型 。 也 就 是 说 ,获得 的 整个 观测 Y 是 随机 变量 {Y,，; 
t:E [0，TJ)} 的 集合 ， 其 中 1 是 连续 变化 的 参数 ， 观 测 间 隔 为 LO，T](T>>0)。 在 本 章 和 下 
一 章 中 ， 将 考虑 这 种 观测 形式 下 的 信号 检测 和 估计 问题 。 本 章 重点 考虑 信号 检测 ， 而 估计 
问题 留 在 下 一 章 解 决 。 

在 连续 时 间 问 题 中 ， 观 测 集 荆 是 一 个 全 部 元 素 都 为 连续 时 间 波 形 的 集合 ， 这 样 的 集合 
称 为 函数 空间 。 为 了 在 这 样 的 集合 中 建立 信号 检测 和 估计 模型 ， 必 须 在 这 种 集合 下 建立 密 
度 族 。 既 然 对 密度 函数 通过 积分 求 和 后 可 得 到 (信和 号) 概率 ， 那 么 对 于 连续 时 间 信号 密度 函 
数 同样 需要 建立 一 种 在 函数 空间 中 进行 积分 的 方法 。 对 这 类 积分 方法 的 分 析 超 出 了 常规 微 
积分 方法 理论 的 范畴 ， 为 此 ， 在 讨论 连续 时 间 中 的 信号 检测 和 估计 的 具体 方法 之 前 ,首先 
给 出 针对 此 类 问题 的 分 析 方法 。 

在 6. 2 节 中 ， 首 先 简要 论述 抽象 空间 上 的 积分 理论 ， 其 目的 不 在 于 详细 说 明 该 理论 的 
细节 ， 而 是 指出 如 何 将 密度 函数 的 概念 推广 到 函数 空间 ， 继 而 讨论 在 何 种 模型 下 能 够 有 效 
处 理 连续 时 间 信 号 。6. 2 节 还 将 给 出 连续 时 间 随 机 过 程 的 Karhunen- Loéve 展开 模型 ， 该 
模型 使 得 整个 处 理 方法 简化 为 等 价 的 离散 时 间 过 程 ， 是 本 章 后 续 部 分 中 分 析 信 号 检测 问题 
的 关键 。6. 3 节 和 6. 4 节 将 讨论 具体 的 连续 观测 信和 号 检测 问题 。 一 旦 指定 合适 的 密度 函数 
族 后 ， 此 类 问题 和 前 面 所 讨论 的 离散 问题 在 理论 上 可 以 等 价 。 这 部 分 内 容 将 主要 考虑 用 特 
定 的 方法 为 实际 应 用 中 需要 考虑 的 模型 推导 出 适当 的 密度 族 函 数 ， 同 时 给 出 检测 器 结构 并 
分 析 检测 性 能 。 在 6. 3 节 中 将 讨论 高 斯 噪声 下 确 知 (相干 ) 信 号 的 检测 问题 ， 在 6. 4 节 中 将 
讨论 高 斯 噪声 中 的 随机 信号 检测 问题 。 





O 5.4 节 中 的 线性 估计 问题 是 一 个 特例 ， 因 为 对 于 这 个 问题 仅 需要 知道 二 阶 统 计量 。 事 实 上 ， 可 以 将 观测 集 拓 
展 到 无 限 序列 集 。 


166 信号 检测 与 估计 


6.2 数学 基础 


6.2.1 函数 空间 中 的 密度 函数 

为 了 考虑 连续 时 间 观 测 下 的 信号 检测 和 估计 问题 ， 不 能 仅 将 观测 集 厂 限制 为 欧 几 里 得 
几何 集 或 是 离散 集 ， 而 需要 将 卫 推 广 到 任意 集合 ， 相 应 的 事件 类 9 是 下 的 任意 ce 代数 子 
集 。 在 这 一 节 中 ， 将 给 出 任意 观测 集 下 的 密度 函数 概念 ， 并 讨论 这 些 概念 与 前 面 章节 中 针 
对 特定 观测 空间 所 定义 的 相关 概念 的 联系 。 本 章 的 目的 是 使 读者 从 本 质 上 理解 此 类 密度 函 
数 的 意义 ， 而 不 是 给 出 理论 的 完整 推导 过 程 。 

为 了 在 函数 空间 中 详细 描述 密度 函数 ， 需 要 给 出 该 空间 下 的 积分 形式 。 从 定义 任意 空 
间 中 的 积分 出 发 ， 首 先 介 绍 测度 的 相关 概念 。 

定义 6.2.1 测度 

如 果 满 足下 面 的 两 条 性 质 ， 则 函数 np:9G 一 [0，ce] 是 在 (PP，89G ) 上 的 一 个 测度 。 

D pP=0, APSRBER, 


2) HRG, G, “REG PHAR KMRHR(GG,=$, i4#j), MH KUG) = 


YG. 
概率 测度 (或 概率 分 布 ) 是 测度 最 常见 的 例子 ， 它 还 满足 附加 条 件 y.(T) 二 1[ 该 条 件 与 
性 质 1) 和 人 性质 2) 一 起 称 为 概率 公理 ]。 对 概率 测度 进行 积分 是 常规 运算 。 特 别 地 ,假设 
是 人 PP，9) 上 的 一 个 概率 测度 ，X 是 从 (TT，9 ) 到 (R，8B) 的 可 测 函 数 S， BAER, DE 
与 X 对 应 的 概率 分 布 Px 可 由 下 式 决 定 
ns (6. 2.1) 
RP X71 (A) A(yEr|X (EA). 
函数 X 的 值 对 应 随机 变量 期望 E{X}) 可 以 采用 传统 方式 定义 ， 其 大 小 可 认为 是 实 变 
量 工 经 过 分 布 Px 加 权 后 的 平均 值 ， 同 时， 也 可 以 认为 它 是 X(y) 经 过 在 (T，9 ) 上 的 概率 
测度 jy 加 权 后 的 平均 值 ， 即 
E(X) = | XWpcdy) = | Xay (6. 2. 2) 


显然 ，E{X} 可 理解 为 X 关 于 j RA. RIX MX 分 别 是 (9 ) 上 的 两 个 函数 ， 并 
已 知 均值 E{X1)} 和 E{X,}， 对 于 任意 标量 a 和 8， 利 用 期 望 性 质 可 以 证 明 E{aXi +BX2} = 
aE{Xi) 十 BE{X,} 成 立 。 采 用 上 面 的 记 法 ， 则 有 


| ex + Xs dp = a| Xidu + p| Xedy (6. 2.3) 
即 式 (6. 2. 2) fi X 的 线性 函数 ， 这 也 是 积分 的 基本 要 求 。 





日 一 个 函数 X 在 (T，9 ) 到 (R，B) 上 可 测 是 指 : 对 于 任何 一 个 满足 AE 5B 的 集合 ,都 有 {yET|X(y)EA}) 在 9 
上 。 这 个 条 件 意味 着 任何 一 个 关于 X 在 实数 线 上 的 事件 ， 即 X(y) 在 A 上， 都 可 以 映射 回 原始 观测 空间 。 
这 个 条 件 使 得 可 以 通过 和 X 在 (R，B) 上 定义 一 个 概率 分 布 ， 如 前 文 所 述 。 
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对 于 任意 事件 FE 9 ， 可 以 定义 一 个 从 下 到 R 的 特殊 可 测 函 数 ， 即 
Iz F 
ro =] i (6.2. 4) 
0, ye F 
正如 在 第 3 章 中 提 到 的 ， 此 函数 称 为 下 的 指示 函数 。 既 然 Tp 定义 了 一 个 离散 随机 变量 ， 
它 取 值 为 1 的 概率 为 uF)， 取 值 为 0 的 概率 为 uF), WA 
E{Ip} = 1u(F) + Ou(F) = ACE) (6. 2. 5) 
或 等 价 于 
[Ird = pF) (6. 2.6) 
因此 ， 通 过 适当 选取 X 后 ， 求 解 | Xdy 就 可 得 到 任意 集合 MWE p HF| Xip EE y 


上 ,因此 积分 | Xdu 和 测度 /是 同一 概念 。| dx 有 时 也 记 作 | dye 或 者 | Cdy) ， 对 于 函数 X 
和 集合 FE9 ， 记 作 
| OXD) = | X(y)pCdy) (6.2.7) 


从 上 面 的 定义 中 可 以 看 到 ， 函 数 X 关于 概率 测度 wx 的 积分 不 过 是 常见 的 X 的 期 望 S 。 测 度 
积分 的 概念 可 以 很 容易 地 从 概率 测度 推广 到 其 他 类 型 的 测度 上 。 特 别 地 ， 如 果 pC) <co, 
则 六 是 有 限 的 ;如果 工 可 以 写作 互 斥 事件 T, ORE, BIE 满足 uC) 一 
co, Wy tto 有 限 的 。 

除了 归 一 化 pC) =1 外 ， 有 限 测度 在 本 质 上 和 概率 测度 相同 。 特 别 地 ， 对 于 任意 有 限 
测度 wx， 定义 概率 测度 /为 


u (F) = Wl F)/p), FEG (6. 2. 8) 
则 函数 RF pe 的 积分 可 以 直接 定义 为 
[Xde = pT | Xap (6. 2. 9) 


同 理 ， 如 果 jy 是。 有 限 测度 ， 可 以 将 它 分 解 为 有 限 测度 的 和 的 形式 ， 即 


uF) = Su) FEG (6. 2. 10) 
式 中 ， 对 于 每 一 个 i， 有 | 
pu(F)=uFNT), FEG (6. 2.11) 
利用 测度 定义 中 的 性 质 2， 有 FOTO <p) Som we, HEMMER o 有 限 测 度 ， 可 
以 定义 
[xan = >) Xx (6. 2.12) 


O ” 值 得 注意 的 是 ， 可 以 首先 定义 [Xen Mee BEX E(X) = [xeon Billingsley(1979)]。 它 比 前 面 的 方法 更 
加 合理 ,不 过 ,这 样 做 的 目的 是 用 已 知 的 E{X} 来 定义 未 知 的 | Xd 
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式 中 [Xap 根据 式 (6. 2. HVE, 


在 定义 上 述 积 分 之 后 (此 类 积分 也 称 为 Lebesgue- Stieltjes 积分 )， 就 可 以 进一步 给 出 
概率 密度 的 概念 。 为 此 ， 定 义 测度 的 绝对 连续 性 如 下 。 

定义 6.2.2 测度 的 绝对 连续 性 

假设 jo 和 jn 是 (人 9) 上 的 两 个 测度 ， 如 果 由 条 件 jwo(F) 二 0 可 以 得 出 站 (FE) 一 0， 则 
称 pa 关于 fo 绝对 连续 ， 记 为 Khoo 

根据 上 述 定义 ， 有 下 面 的 结论 成 立 。 

命题 6.2. 1 Radon-Nikodym 定理 

假设 pm 和 ju AT, GIEMAPA CARMA, A Ku, AEETI BHR f:T-R 
使 得 

a = | fate» FEG (6. 2.13) 


此 外 ， 在 除去 wo (G)=0 的 集合 G,， 上， 了 唯一 确定 。 

鉴于 该 结论 的 详细 证 明 过 程 在 大 多 数 关 于 积分 和 测度 的 书 上 都 能 找到 [如 Billingsley 
《1979)]， 所 以 此 处 从 略 。 需 要 注意 的 是 : Radon- Nikodym 定理 说 明了 任意 事件 的 yi 测度 
可 以 通过 求 函数 了 对 m 在 下 上 的 积分 得 到 。 函 数 f 通常 称 为 测度 ji 对 于 测度 m 的 
Radon- Nikodym 导数 ， 记 为 f 二 du /duo。 下 面 的 两 个 例子 将 进一步 说 明 Radon- Nikodym 
导数 在 向 量 集 和 离散 集 上 具有 的 形式 。 

向 量 集 上 的 Radon-Nikodym 导数 

假设 (，9 ) 二 (R，8B)， 存 在 一 个 定义 在 (R，B) 上 的 唯一 测度 jy， 满足 任意 间隔 的 jy 测 
度 就 是 它 的 长 度 [例如 ，jy(La,， 6) 二 16 一 a| ]。 该 测度 就 是 众所周知 的 勒 贝 格 (Lebesgue) 测 
度 ， 因 为 可 将 R 分 解 为 可 数 个 有 限 长 区 间 的 并 集 ， 所 以 oc 有限。 如 果 g 是 一 个 通常 意义 上 的 


黎 曼 积分 函数 | gCy)dy, 那 么 就 有 | de = | _g(y)dy, 也 就 是 说 ， 关 于 勒 贝 格 测度 的 积分 


本 质 上 与 普通 微 积 分 学 的 积分 一 样 ， 尽 管 该 函数 勒 贝 格 可 积 , 但 未 必 黎 曼 可 积 。 
假设 P 是 连续 时 间 变 量 在 (R，B) 上 的 概率 测度 ，p 表示 相应 的 概率 密度 函数 (pdf)。 


显然 对 于 任意 的 AEB， 有 P(A) = | DOs AAAS pody = | pdx=| pudy), 


A p = dP/dy 成 立 。 换 言 之 ,连续 时 间 变 量 的 概率 密度 函数 是 勒 贝 格 测度 意义 上 概率 
测度 的 Radon- Nikodym 导数 。 

勒 贝 格 测度 是 在 R 上 的 “自然 ?测度 ， 因 为 它 与 长 度 有 关 ， 而 长 度 是 与 任意 间隔 相 联 
系 的 最 自然 的 数 。 同 样 也 可 以 在 R 和 Rs 上 定义 勒 贝 格 测度 ， 此 时 ， 需 要 分 别 采用 面积 





加 “在 定义 式 (6. 2. 12) 时 ， 必 须 考虑 和 的 收敛 性 , 当 |X du = A D [X dus < co DEX X* Cy) 一 
i=1 i=1 





max{X(y),0}, X~ (y)=max{—XCy), 0} Jit, s0C6. 2.12) 的 和 将 会 趋 于 ce 。 同 理 ， 当 D [Xt dus <2 B 
i=1 


yir dui = o fff, | Xdh= 一 6。 当 > fx" dui 和 Sje dy 都 无 限时 ,| Xde 没有 定义 。 


i=l 
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和 体积 作为 大 小 的 自然 测度 。 基 于 R 中 常见 的 “体积 ”概念 ， 可 以 推广 到 R Ca>3), E 


这 些 情 况 中 ， 每 一 种 连续 随机 向 量 的 概率 测度 都 是 与 勒 贝 格 测度 有 关 的 Radon- Nikodym- 


导数 。 < 
离散 集 上 的 Radon-Nikodym 导数 
假设 卫 是 离散 集合 (和 vo), HGS, ET, ) 上 定义 测度 jy 为 
uP) 一下 中 元 素 的 个 数 (6. 2. 14) 


那么 y 就 是 事件 下 中 的 元 素 个 数 ， 也 称 为 计数 测度 。 由 于 丁 是 集合 {7;) 的 并 集 ， 且 集合 
(7:} 只 有 一 个 元 素 ， 所 以 它 是 oc 有限 的 。 对 于 任意 函数 g:T>R， 可 以 很 容易 地 得 到 


| g Wudy) = Seth (6. 2. 15) 
i=] 


即 在 卫 上 关于 计数 测度 的 积分 就 是 简单 的 求 和 。 
假设 P EEr EERI RRA p 的 概率 测度 ， 那 么 对 于 任意 的 FE9 ， 有 


POP) = Spy) = | pO) (6. 2. 16) 


因此 p= 二 dP/dx， 即 概率 分 布 函 数 是 计数 测度 的 Radon- Nikodym 导数 。 < 
例 6. 2. 1 和 例 6. 2. 2 说 明了 在 前 面 章节 所 用 的 密度 函数 是 Radon- Nikodym 导数 的 特殊 情 


况 。 就 所 介绍 的 符号 ( 即 Elg0Y)) = | gO 而 言 ， 引 入 测度 后 ， 在 积分 意义 上 


具有 更 一 般 性 的 解释 ， 进 而 可 将 前 面 章节 得 到 的 结论 推广 到 更 为 普遍 的 观测 空间 。 

所 感 兴趣 的 模型 通常 由 (TT，G) 上 的 分 布 族 ( 如 概率 测度 ){P，; OE A}) 构 成 。 如 果 存 在 
一 个 (T，9 ) 上 的 oc。 有限 测度 jy， 使 得 对 所 有 的 OCA 有 Po< 和 ww， 那 么 就 可 以 构造 一 个 密度 
族 {ps; OCA}, HP pp=dP,/du, OEA, 一 旦 有 了 关于 po 更 为 简便 的 解释 后 ， 所 有 在 假 
设 检验 和 参数 估计 中 得 到 的 结论 都 可 以 推广 到 更 一 般 的 观测 空间 ， 包括 第 2 章 和 第 4 章 中 
关于 假设 检验 和 参数 估计 的 一 般 性 结论 ， 以 及 3. 3 节 中 推导 的 切 诺 夫 界 。 此 外 ， 如 果 用 边 
缘 密度 代替 Radon- Nikodym 导数 ， 在 独立 同 分 布 的 实 值 观测 序列 下 得 到 的 结论 也 能 推广 
到 一 般 观 测 空间 中 的 独立 同 分 布 观测 序列 ?， 包括 第 3 章 中 离散 时 间 检 测 的 结论 和 4.4 节 
中 最 大 似 然 估计 的 渐 近 分 析 结 论 。 

对 于 连续 时 间 中 的 信号 检测 和 估计 问题 ， 在 掌握 了 作为 分 析 基 础 的 Lebesgue- Stieltjes 
积分 和 Radon- Nikodym 微分 后 ， 进 一 步 考虑 二 进 制 参数 集 A 二 410，1} 上 的 一 些 特殊 性 质 。 

考虑 (PT，89 ) 上 的 两 个 概率 测度 P。 和 P;， 总 存在 co。 有限 测度 jy 使 得 P。 和 Pi 绝对 连 
续 。 例 如 ， 易 知 有 限 测度 w= Po 十 Pi 支配 着 P。 和 Pi。 为 不 失 一 般 性 ,假设 存在 测度 jy， 
可 以 定义 密度 p; AdP;/du, j=0, 1. ME Po MP. 后 ， 贝 叶 斯 、 极 小 化 极 大 误差 和 尼 
曼 - 皮 尔 逊 最 佳 检验 都 是 将 似 然 比 工 = 刀 /zz 与 门限 = 进行 比较 ， 当 工 (y) 大 于 = 时 ， 判 决 
AH; 当 工 (y) 小 于 rr 时 ， 判 决 为 Hos 如 果 工 (y) 一 r， 则 进行 随机 判决 。 如 果 PiP. 
那么 P 对 于 Po 可 微 。 对 满足 Po 和 Pi 绝对 连续 的 任意 测度 y 而 言 ， 可 以 得 到 





加 ”这 类 问题 出 现在 阵列 处 理 等 应 用 中 。 在 阵列 处 理 中 ， 接 收 到 个 观测 值 ， 每 一 个 都 可 以 表示 为 一 个 阵 元 传 
感 器 的 输出 波形 。 
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dP, _ dPi/dy _ py 
if, dea bs (6. 2. 17) 


因此 ， 当 P&P, 时 ， 似 然 比 仅仅 是 Pi 关于 P, 的 Radon- Nikodym 导数 。 
如 果 Pi 之 P。， 应 用 Radon-Nikodym 定理 ， 可 得 到 








PP) = | BaP. FEG (6. 2. 18) 


更 一 般 地 ， 对 任意 一 对 概率 测度 Po 和 已 ， 总 存在 一 个 可 测 函 数 STR 和 一 个 满足 Pu CH) =0 
的 集合 HEG, ， 使 得 


P,(F) = | fap. 4+P(FNH), FEG (6. 2.19) 
实际 上 ， 集 合 互 可 根据 下 式 进 行 选择 
H={yE€Tl~a~m>o H ply) =0} (6. 2. 20) 


4 yE H i, fw TeAWAM LO); 当 yE 互 时 ， 可 以 任意 选取 。 这 是 因为 P.(H)= 
0，F 在 五 上 的 取 值 不 影响 积分 结果 。 当 yE H 时 ， 最 佳 检 验 总 是 选择 假设 Hi; 当 y€ He 
时 ， 则 根据 f(y) 和 < 的 比较 结果 进行 选择 。 

在 式 (6. 2.19) 中 ， 如 果 Pi ( 互 ) 二 0， 和 右边 的 第 二 项 也 为 0, Pi<P, H f=dP,/dP,. 
另 一 方面 ， 如 果 P,(H) 二 1， 那么 对 于 所 有 的 FE9 ，P1(FNH) 一 Pi(F) 且 右边 第 一 项 为 
0。 换 言 之, WHE HEP, 下 以 概率 RE, 事件 HY 在 P, 下 以 概率 1 发生。 因此 ， 判决 
准则 “ye H 选择 及, 和 yE H 选择 有 H,” 的 误 判 概率 为 0。 此 时 ， 称 Po 和 P 是 奇异 的 (用 
符号 P, | P, 表示 ); BAP. MP. 表示 与 此 对 应 的 信号 检测 模型 ， 则 称 为 奇异 性 检测 。 

本 质 上 ， 测 度 间 奇异 意味 着 密度 p 和 p 的 支撑 sa 
集 不 相交 。 在 实际 模型 中 ， 对 于 =R" 或 下 离散 ， 很 
少 出 现 奇 异 现象 。 然 而 ， 对 于 连续 时 间 观 测 值 ,“ 奇 
异 ? 是 一 个 更 为 微妙 的 问题 ， 它 可 能 在 其 他 一 些 看 似 合 
情 合理 的 模型 中 出 现 。 在 某 假 设 下 ， 例 如 噪声 过 程 具 
有 有 限 带宽 ， 则 噪声 波形 可 能 是 连续 函数 。 此 时 ， 如 
果 想 检测 加 性 噪声 中 是 否 包含 信号 ， 如 图 6. 2. 1 所 示 ， 
它 的 奇异 性 非常 明显 。 显 然 ， 信 号 的 存在 会 打破 观测 So! es ti a 
值 在 t= 7/2 处 的 连续 性 ， 即 可 根据 观测 波形 在 :一 
T/2 处 是 否 连续 来 判断 有 无 信号 。( 注 意 ， 上 述 奇异 性 表述 不 适用 于 离散 时 间 模 型 ， 因 为 
在 离散 时 间 中 不 存在 时 间 连 续 的 概念 .) 虽 然 上 述 模型 具有 奇异 性 ， 但 是 在 实际 问题 中 奇异 
性 要 隐蔽 得 多 。 本 质 上 ， 相 比 噪 声 而 言 ， 当 信号 快速 变化 时 ， 在 加 性 噪声 中 检测 信号 就 会 
出 现 奇 异性 。 尽 管 在 检测 实际 物理 信号 时 不 存在 奇异 性 ， 但 正 是 因为 奇异 性 对 应 模型 的 非 
理想 情况 ， 有 必要 研究 检测 模型 可 能 存在 的 奇异 性 。 针 对 奇异 性 检测 问题 的 研究 已 经 非常 
RAT. 下面 的 章节 将 进行 简单 介绍 。 

P,<P, 和 Pi L P, 是 式 (6. 2.19) 的 两 个 极端 情况 。 当 然 ， 也 可 以 考虑 中 间 情 况 ， 即 
0 二 Pi1( 瑟 ) 二 1。 然 而 ， 对 于 大 多 数 连续 时 间 检 测 模型 而 言 ， 情 况 经 常 是 两 个 极端 之 一 。 事 
实 上 ， 有 相当 普遍 的 一 类 连续 时 间 模 型 或 是 奇异 ,或 是 P 和 P 等 价 ， 即 PKP 和 PK 





O T/2 T t 
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Pi( 记 为 Pu 二 Pi)。 因 此 ， 连 续 时 间 检 测 问题 的 求解 过 程 可 分 为 以 下 几 步 : 
1) 确定 该 问题 是 否 是 奇异 的 ; 
2) 如 果 该 问题 非 奇 异 ， 计 算 似 然 比 ; 
3) 求解 错误 概率 。 
在 介绍 具体 求解 方法 之 前 ， 为 便于 后 续 分 析 ， 先 给 出 连续 时 间 的 表达 式 。 
6.2.2 Grenander 定理 和 Karhunen-Loéve 展开 式 


根据 6. 2. 1 节 中 所 涉及 的 概念 ， 可 解释 函数 空间 中 的 概率 测度 和 似 然 比 ， 但 却 无 法 求 
出 它们 在 检测 器 或 估计 器 中 的 具体 表达 式 。 因 此 ， 在 本 节 和 下 节 中 将 讨论 求解 这 些 表 达 式 
的 方法 。 

通常 可 根据 下 述 步 又 计算 连续 时 间 观 测 模 型 的 似 然 比 : 在 连续 时 间 观 测 过 程 {Y,; 
iEL0，T])} 可 简化 为 一 个 相等 的 序列 {12 Z ，…)} 的 基础 上 ， 首 先 将 无 限 长 序列 (2 ) 记 ， 
截断 成 {Zl ，…，2,}， 然 后 按照 第 3 章 中 的 方法 计算 序列 {Zl Z ，…，2,) 的 似 然 比 ， 最 
后 求 x 一 oo 的 极限 ， 序 列 {2Zi) 许 1 的 似 然 比 将 收敛 到 连续 时 间 信 和 号 的 似 然 比 。 实 际 上 ， 正 如 
下 面 将 要 验证 的 结论 ， 在 一 般 条 件 下 ， 上 述 收敛 性 总 成 立 。 

命题 6.2.2 Grenander 定理 

BAT, G)= R", 8B”)5,，P。 和 Pi 是 (TT，G9) 上 的 两 个 概率 测度 。 进 一 步 假 设 对 
FHS ERK, Yi RE P 和 Pi 下 的 连续 随机 向 量 ， 且 在 P; 下 的 密度 为 p，(y?)。 对 
于 每 一 个 2， 在 卫 上 定义 函数 广 ， 使 得 


fio = ie ger (6. 2. 21) 
那么 ,在 P。 下 ，f,(Y) 一 了 (Y) 依 概率 成 立 ; 在 Pi 测度 下 ，f;(Y) 一 f(Y) 在 事件 集 H* 上 
依 概 率 成 立 ; 
在 已 下 ，f,(Y) 一 oo 在 事件 集 电 上 依 概 率 成立 。 其 中 ，f 和 及 分 别 为 出 现在 式 (6.2.19) 
中 的 函数 和 事件 ， 即 





Pi(F) 一 | dP, + PFN H), FEG (6. 2. 22) 
F 


上 述 定 理 称 为 Grenander 定理 ， 具 体 证 明 过 程 可 参见 Grenander(1981)， 在 此 省 略 。 
Grenander 定理 表明 : 首先 截断 序列 ， 然 后 估计 截断 序列 在 概率 意义 上 的 似 然 比 极限 ， 这 
样 就 可 以 计算 出 空间 中 无 限 长 序列 的 似 然 比 。 下 一 步 将 构造 连续 时 间 观 测 问题 的 等 价 观测 
序列 。 为 此 ， 首 先 给 出 一 些 有 用 的 定义 。 

如 果 一 个 随机 过 程 {Y,; EL TIATA EL, TIA E{Yi}<co, WRK 
程 为 二 阶 过 程 。 对 于 一 个 二 阶 过 程 ， 自 协 方差 函数 定义 为 

Cr (tu) = cov(Y,-Y,), fu € [0T] (6. 2. 23) 


对 于 一 个 在 [0，T] 上 的 实 值 函数 放 ， | aoYd 的 均 方 积分 定义 为 当 m -> co Ml A, 





© 如 3.4 节 所 述 ，R= 是 全 为 实数 的 单 边 序列 ， 即 R= 一 {y| > 一 (ww)} 忆 :上 且 yeER，4t>1)。B” 是 R“ 上 Borel $ 
的 so 代数， 即 包 含 所 有 形 如 和 y= 二 和 yt) 六 1 | (y1，…，yn) EA)，AEB"，n 二 1，2,，… 的 集合 的 最 小 o 代数。 
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max |t — t, | 一 0 时 ， 如 下 序列 和 的 均 方 极限 9 


l<i<n 
STACEY uP — 223] (6. 2. 24) 
i=0 


式 中 ， 对 于 每 一 个 正 整数 n, OF 16? SH? Ke <<” = T ARLO, TI] ELMW—-+*AFH, HX 
i=l, +, nA EME, oP]. ER, RT Ym 是 随机 的 以 外 ， 式 (6. 2. 24) 是 普通 形式 


的 黎 曼 和 ， 其 极限 为 | ,ADYdz。 由 于 被 加 数 是 随机 的 ,因此 在 随机 意义 上 定义 极限 非常 重 


要 ,尤其 是 均 方 极限 ,此 外 ,也 可 用 均 方 Stieltjes 积分 | Kody, 来 定义 ， 它 是 下 述 序列 和 的 
均 方 极限 
DAE”) Lew — Ym) (6. 2. 25) 
AP ce AEM? 按照 式 (6. 2. 24) 定 义 。 
根据 上 面 的 定义 ， 现 在 可 以 给 出 Mercer 定理 和 Karhunen- Loéve 展开 式 。 
命题 6.2.3 Mercer 定理 和 Karhunen-Loéve 展开 式 
假设 {Y,; itEL0，T 了 |) 是 零 均 值 二 阶 随 机 过 程 ， 它 的 自 协 方差 函数 为 CG, u), HE 
Lo, T]XLo, TIJ=L0O, T? 上 连续 ， 那 么 Cy 可 以 展开 为 一 致 绝对 收敛 序列 
Cy(t,u) = X Applu), (ao € [0, T] (6. 2. 26) 
k=1 
A P {Ag hrei Fel dy eee Cy hG AF HE Fe FA E Ag TE AE, PP (An eg a eo 
积分 方程 的 解 


T 
MD = | Cy 0<t<T (6. 2. 27) 
0 


F T 
H nAém tt | pa Om dt = on | god=. 
进而 ，{Y ;tiEL0，T]) 的 均 方 收 化 级 数 表示 为 


Y= 2s Os ree T (6. 2. 28) 
k=1 
式 中 
T 
Za =| p (t)Y,dt, k= 1,2, (6. 2. 29) 
0 


关于 式 (6. 2. 26) 的 有 效 性 就 是 著名 的 Mercer 定理 ， 式 (6. 2. 28) 所 描述 的 展开 式 就 是 
Karhunen- Loéve 展开 式 。Mercer 定理 是 数学 分 析 中 的 经 典 理论 ， 可 在 Lovitt(1950) 等 处 
找到 证 明 ，Karhunen-Loéve 展开 式 的 有 效 性 是 Mercer 定理 的 推论 ， 其 证 明 结果 可 以 在 





© H 
T d 2 
E AMY de — PhP YP A — 1) 一 0 
([[roxa- Janr; py} 

式 (6. 2. 24) 的 极限 存在 当 且 仅 当 

| F AOAWDRy w didu < oo 

o 0 
其 中 Ryt, u) AE(Y.Y,}=Cy(@, uw) +E{Y,} E(Y.) (BA Parzen(1962) J. 
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Thomas(1971) 中 找到 。 注 意 ，Mercer 定理 是 按照 Cy 的 特征 值 和 正 交 特征 函数 对 其 进行 
频谱 展开 ， 正 如 对 aX n IAEE 进行 谱 分 解 一 样 ， 即 


z= Suef 
采用 3. 2 719 FA E RE RP IE CEL (Aa) da ARE OE I a o FEA. GPT IAA EF BE 


中 普通 表达 式 的 特殊 例子 ， 因 此 它们 完全 等 价 。) 同 样 Karhunen-Loéve 展开 式 类 似 于 将 n 
维 零 均值 随机 向 量 Y 分 解 为 


Y= X Zw (6. 2. 30) 
k=1 


AP Zi 二 viY。 在 具体 应 用 Karhunen-Loéve 展开 式 时 ， 会 进一步 讨论 上 述 相 似 性 。 

Karhunen- Loéve 展开 式 提 供 了 在 连续 时 间 过 程 中 分 离 随 机 性 和 时 变性 的 方法 ， 即 
(Ya; t€E [0，TJ}) 的 随机 性 归结 到 序列 {Zi)&1 中， 而 该 过 程 的 时 变性 体现 在 函数 序列 
{yx} 位 :中 。 式 (6.2.28) 通 过 组 合 上 述 两 者 来 表示 该 过 程 。 一 方面 ,在 {Zi)&1 的 基础 上 ， 
根据 式 (6. 2. 28) 可 确定 {7,; t+€ [0，T]}; 男 一 方面 ， 根 据 式 (6. 2. 29) 由 {Y,; c€L0, T]} 
可 计算 出 {Zi) 社 !。 因 此 ，{2i} 福 1 是 连续 时 间 过 程 {Y,; 1€ [0，T) 的 等 价 观测 序列 。 换 言 
之 ，Karhunen-Loéve 展开 式 可 将 连续 时 间 过 程 转换 为 一 个 等 价 序列 。 

需要 注意 的 是 ,假设 Cy EL, T? 上 连续 是 非常 合理 的 。 容 易 证 明 ， 这 个 条 件 与 
{Y,; ELO, TPSF EARE B 

limE { (Y, —Y,)?} = 0, €o, T] (6. 2. 31) 

[参见 Parzen(1962) ]。{Y,; t€L0,， Tj} 是 零 均 值 过 程 的 条 件 并 不 失 一 般 性 ， 这 是 因为 即 
使 {Y,; 1: € [0，TJ]} 的 均值 不 等 于 零 ， 利 用 定理 也 可 对 零 均值 过 程 {Y, — ECY,); 
iEL0，T]} 进 行 展开 。 由 于 协 方差 Cy 不 会 随 均值 的 变化 而 变化 ， 因 此 不 会 改变 在 展开 式 中 
用 到 的 特征 函数 。 然 而 ， 在 式 (6. 2. 29) 的 右边 需要 加 入 EY, R, BRG. 2. 29) 需 要 改写 为 


T 
Z =| A, Ede. k= led (6. 2. 32) 
0 


从 表面 上 看 ，Karhunen- Loéve 展开 式 和 Grenander 定理 可 用 于 解决 任何 一 个 连续 时 
间 观 测 下 的 信号 检测 问题 。 然 而 ， 事 实 并 非 如 此 ， 因 为 该 方法 面临 两 大 问题 。 一 是 计算 
Karhunen- Loéve 展开 式 需 要 通过 自 协 方差 函数 Cy 得 到 {Y,; 0 二 tT} 的 概率 分 布 。 二 是 
计算 式 (6. 2. 29) 中 的 序列 {2Zi}) 社 1 时 需要 已 知 Cy 的 特征 函数 。 以 二 元 假设 检验 问题 为 例 ， 
并 不 知道 在 两 个 可 能 的 分 布 中 哪 一 个 是 有 效 的 先 验 信息 。 因 此 ， 除非 (Y,; ce Lo, THH 
自 协 方差 函数 在 两 个 假设 下 具有 相同 的 特征 函数 ， 否 则 无 法 求解 出 正确 的 等 价 观测 序列 
{Zi hile 

尽管 在 6. 3 节 中 有 很 大 一 类 问题 都 可 以 避免 出 现 前 面 的 情况 ， 但 在 应 用 Grenander 定 
理 计算 似 然 比 时 仍 会 面临 更 为 琼 手 的 问题 。 假 设 Cy 的 特征 函数 在 两 种 假设 下 是 相同 的 ， 
因此 可 以 根据 下 式 产 生 序列 (Zi) 应 1 


T 
a= | pa b= 1,20 (6. 2. 33) 
0 


在 应 用 Grenander 定理 时 ， 对 所 有 的 n， 都 需要 已 知 Zi 在 每 个 假设 下 的 概率 密度 。 即 使 存 
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在 一 些 特殊 的 例子 ,求解 随机 变量 Z, 的 边缘 密度 也 是 极其 困难 的 。 若 没有 进一步 的 假设 ， 
就 无 法 继续 求解 似 然 比 。 不 过 ， 如 果 随 机 过 程 {Y,; ie [0，T]} 是 高 斯 的 ， 那么 根据 
Grenander 定理 来 求解 似 然 比 就 容易 得 多 。 鉴 于 许多 物理 现象 (包括 电路 中 的 热 噪声 ) 可 以 
用 高 斯 过 程 进行 精确 建 模 ， 所 以 高 斯 随机 过 程 的 应 用 十 分 广泛 ， 这 也 是 本 节 对 其 进行 详细 
讨论 的 原因 。 

定义 高 斯 随机 过 程 的 最 简单 方式 是 ， 如 果 随 机 过 程 {Y,; tiE [0，T]} 的 采样 向 量 全 是 
高 斯 随机 向 量 ， 那 么 该 过 程 就 是 高 斯 的 。 也 就 是 说 ， 具 有 (Y, ，Y, ，…，Y, )" 形式 的 所 
有 向 量 都 应 该 满足 多 元 高 斯 分 布 ， 其 中 n 是 正 整数 且 E50，T]，i 二 1，…，n。 类 似 于 
高 斯 随机 向 量 ， 高 斯 随机 过 程 的 线性 变换 也 满足 高 斯 性 质 。 鉴 于 积分 是 线性 运算 ， 且 在 
Karhunen-Loéve 展开 式 中 的 序列 是 通过 {Y,; 1€ [0，T]) 的 线性 变换 得 到 的 ， 所 以 对 于 每 一 
An, Zi 构成 一 个 高 斯 随机 向 量 ， 它 的 密度 由 随机 变量 Z, ，…，Z, 的 均值 和 协 方差 确定 。 

在 计算 高 斯 过 程 的 均值 和 协 方差 之 前 ， 首 先 可 以 交换 期 望 运算 和 均 方 积分 的 顺序 ， 因 此 有 


T T 
STAS E(| OY, de | = i de DEY, }de = 0 (6. 2. 34) 
式 中 假设 {Y,; t€ [0，T]} 满 足 零 均值 条 件 。 同 样 ， 协 方差 可 表示 为 
cov( Zp Zn) = E(Z12n) = E| | ge OY, de| yu WY, de} 


TT 
= Eff | ge CD yn (WY, Ydtdu | 
0J0 


TT 
=| | dn) din (CU ELY.Y, } dtdu 
OJ0 


a | | a Ogn DCi ddu (6. 2. 35) 
0J0 
对 上 式 右边 的 进行 积分 ， 结 合式 (6. 2. 27) ， 可 以 得 到 
T 
cov( ZiZa) = in| bu (1) thy (w) dt (6. 2. 36) 
FA AA (de c= 1 PIE ZH. 有 
Àz s k == ™ 
cov( Zi» Zn) = | (6. 2. 37) 
0, kyem 


30 (6. 2.3732, 4kAmit, Z AZ, 不 相关 ， 又 由 于 它们 都 是 高 斯 的 ， 所 以 相互 独立 。 
因此 ， 当 {Y,; 1€ [0，TJ) 是 零 均值 高 斯 过 程 时 ，Karhunen-Loéve Z% Z) RAZ ~ 
NO, Ag) SPAS 的 独立 随机 变量 序列 。 


6.3 高 斯 噪声 中 的 确 知 信号 和 部 分 参数 确 知 信号 检测 


在 明确 6. 2 节 中 的 分 析 方法 之 后 ， 本 节 重 点 考虑 连续 时 间 观 测 值 下 信号 检测 的 具体 问 
题 。 检 测 的 基本 方法 是 首先 通过 Karhunen- Loéve 展开 式 将 连续 时 间 观 测 集 简化 为 一 个 等 





O ”值得 注意 的 是 : 式 (6. 2. 37) 的 协 方差 结构 并 不 依赖 于 高 斯 假设 ， 且 对 于 Karhunen- Loéve 展开 式 的 系数 总 成 
立 。 也 正 是 因为 系数 具有 非 相 关 特 性 ， 使 得 Karhunen Loéve 展开 式 在 随机 过 程 的 众多 类 传 里 叶 展 开 中 具有 
非常 重要 的 地 位 。 
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价 的 离散 时 间 集 ， 然 后 应 用 Grenander 定理 计算 似 然 比 。 基 于 6. 2 节 中 的 基本 考虑 ， 本 节 
假设 待 检测 信号 和 噪声 均 为 高 斯 随机 过 程 。 对 于 非 高 斯 信号 的 情况 ,在 6.4 节 中 有 简要 描 
述 。 本 节 首 先 讨论 加 性 高 斯 噪声 中 的 确 知 信号 和 部 分 参数 确 知 信号 检测 问题 ， 然 后 分 析 高 
斯 噪声 中 的 随机 信号 检测 问题 。 
6. 3. 1 相干 检测 
实际 应 用 中 的 很 多 信号 检测 问题 都 可 以 归结 为 下 述 假设 检验 模型 : 
HY, = Ne， 0 过 ET 
Ey =N ta 和 
stp, (ss tE[0，T]} 和 (st; 1E [0，TJ]) 是 两 个 完全 已 知 的 信号 波形 ，{N,; tE, THE 
示 加 性 噪声 的 随机 过 程 。 第 3 章 中 讨论 的 连续 时 间 相 干 检 测 问 题 ， ae 雷达 等 诸多 
应 用 中 均 会 涉及 。 为 了 研究 式 (6. 3. 1) 描 述 的 假设 检验 问题 ， 可 以 考虑 下 面 的 等 价 模型 
Ho:Y, = N,, 61 T 
H :Y, = N, +s, 0<¢t<T 
SWE FURR aS s EL, TI #8 s 表示 式 (6. 3.1) 中 的 信号 差 5 一 ss， 就 可 以 
得 到 式 (6. 3.2) 中 的 模型 。 假 设 噪声 {N,; :E10,，T]} 是 零 均 值 高 斯 随机 过 程 且 连 续 的 自 协 
方差 函数 为 Cy(t，u)，(t，u) EL0，TJ]*。 进 一 步 假 设 {s,; 1:EL0，T]} 连 续 且 可 表示 为 


C6; 3 1) 


(6. 3. 2) 


oo 


s= 2 ig, OKT (6. 3. 3) 
k=1 
SRF (da ba :是 CN 的 正 交 特征 函数 集 ， Sk 是 信号 在 E yi Eisi OKT WAH, Bp 
Sy =f Spe dt, k = 152,° 《65 3e 4) 


下 面 解释 假设 信号 形 如 式 (6. 3.4) 的 原因 。 对 于 该 表达 式 不 成 立 的 情况 ， 将 在 后 面 予 以 
讨论 。 

在 对 噪声 {Ni ¢ © LO, TJ} 进行 Karhunen- Loéve 展开 后 ， 结 合式 (6.3.3), 
式 (6. 3.2) 可 改写 为 


Ho:Y, = Nida C(t), (eer 


A (6. 3. 5) 
HY, = YÑ, +D, OKET 
k=1 
其 中 
T 
x=] it Ndi, k= 1,2, (6. 3. 6) 
0 


Mah C6. 3. 2) MFR C6. 3. 4) ~ RG. 3. 6) 可 以 看 出 ， 在 两 个 假设 下 均 可 以 将 观测 过 程 表示 为 


Ea Seated, Cte T (6. 3.7) 


k=l 


AP 


Ñ,» Hy 假设 i 
i= [Yir = . (6. 3. 8) 
Ñ, +5,, Ha 假设 
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因此 式 (6. 3. 2) 中 的 假设 等 价 于 
Ho Zi = Ny» k= 1,2,. 
Hi:Zi = Ñ, this k=1,2,. 
由 6. 2 节 可 知 {NN}) 吃 1 是 服从 N,~~N(0，4i) 分 布 的 独立 随机 变量 序列 ， 其 中 {44) 纪 1 是 
Cy 的 特征 值 序列 。 由 于 {4) 之 1 是 已 知 序 列 ， 截 取 个 观测 值 后 ， 式 C6. 3.9) 所 描述 的 检测 
问题 就 等 同 于 3. 2 节 中 高 斯 噪声 下 离散 时 间 相 干 检测 的 问题 。 特 别 地 ， 基 于 式 (6. 3. 9) 中 
的 前 n 个 观测 值 的 似 然 比 可 以 写 为 


(6. 3. 9) 


n 


fulZ) = exp{ 3) Zi -15 /| (6. 3. 10) 


k=1 k=1 


RP ZER (Z). HAE Grenander EM, 4RA MWR LAM. EACE 
P, 和 忆 测度 下 分 别 依 概 率 收敛 于 工 ; 当 工 无 限时 ， 序列 在 P 测度 下 依 概率 发 散 。 研 究 
式 (6. 3.10) 的 收敛 性 可 以 得 到 下 面 的 结论 。 

命题 6. 3. 1 Grenander 二 分 法 

A Py 和 Pi 分 别 表 示 式 (6. 3.9) 所 描述 的 假设 检验 问题 在 假设 Ho 和 Hi 下 的 概率 测 
度 ， 那 么 有 下 面 结论 : 


1) 如 果 > GIA =œ, AA Pel Ps 
k=1 


2) 如 果 2》) ($4)*/h4 <, RA PEP, A 
k=1 
dP, = La = e ees 
和 (2) = exp| >) Z/a 2 / | (6. 3.11) 
其 中 指数 项 的 和 是 均 方 和 。 


证 明 为 了 证 明 性 质 1) ,假设 YIG) A = o, HE OSO 条 件 下 考虑 概率 


R 2 
Pil fa (Z) >b) = P,( >) Zaa 一 多 > logs ) (6. 3. 12) 


RPE A DG. 在 Hy BRF, Z, Z, = Z 是 服从 NCGS，X4) 的 独立 随机 变 
量 ， 这 意味 着 





aT a d l z 
2; aZe ~N( yards ) (6. 3. 13) 
进而 有 
d 
PCF (D >b) =] o( 2 a) (6. 3.14) 


RP d, 是 di 的 正平 方 根 (d, 一 V 必 )。 如 果 limd* 一 成立， 那么 

limP; (fa6Z) > 6) = 1— Ol co) = 1s 6 0 (6. 3. 15) 
即 f,(2) 在 Py 概率 测度 下 发 散 且 工 = co 的 观测 集 以 概率 1 满足 Hi 假设 ， 这 意味 着 
Po LPis 
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为 了 证 明 性 质 D, RAEN: 如 果 JG /u 二 co 成 立 ， 则 PKP, 和 PV KP, 


成 立 。 根 据 Grenander 定理 ， 只 要 能 够 证 明 Hi 假设 下 f, (2Z) 在 概率 意义 上 收敛 就 能 证 明 
已 和 Pu,。 等 价 地 ， 需 要 证 明 logf, (2Z) 在 H 下 依 概率 收敛 。 为 此 ， 需 要 验证 H, 假设 下 
log 刀 2) 在 均 方 意义 上 收敛 ， 这 也 就 意味 着 依 概 率 收 敛 [参看 Thomas(1986)]。 

对 数 似 然 比 logf,(2) 可 写成 


n 


n 2 2 
log f,(Z) = > APEM 一 多 > SX A ee (6. 3: 16) 


k=1 k=1 2 


AP X AZS S H Flimd;<co, A A mw SEW SK (6. 3.16) 右 边 第 一 项 是 否 收敛 。 根 


n> co 


据 Parzen(1962), FRR {Ws bin EII ECP CY 5 BE AR Ee TA PE], B 


lim sup E{(W, — W,,)*} =0 (6. 3.17) 
ELW ADX /A 后 ， 有 
E Wn Wi) = Bi (D) aay = > Bra (6. 3. 18) 
k=ntl k=nt1 





上 式 中 第 二 个 等 式 成 立 是 因为 在 H, 下 独立 随机 变量 Xi ’ Xo» wy Ka ARAN CO, Ae) a 
布 。 由 于 式 (6. 3.18) 的 被 加 数 非 负 ， 所 以 
sup Ei{ (Wn —W,.)*} = 5 CrN” /A 
如 果 qd Wo, WIZE ">c=e 时 上 式 趋 于 0， 即 条 件 limd, 一 oo 是 H, 假设 下 logf,(2) 均 方 收敛 
的 充分 条 件 。 换 言 之 ， limd" 一 oo 是 PKP, 的 充分 条 件 。 
WT GE limd? <coft Po <P, 的 充分 条 件 ， 可 以 将 P。 和 Pi 互 换 ， 然 后 证 明 在 Ho 假 
设 下 1/f,(2) 依 概率 收 化。 这 和 在 Ho 假设 下 证 明 一 log 廊 (2) 依 概率 收敛 等 价 ， 因 此 省 略 





相应 证 明 过 程 。 至 此 ， 完 成 了 命题 6. 3. 1 的 全 部 证 明 。 








命题 6. 3. 1 不 但 指出 PKP, 成 立 的 条 件 ， 更 重要 的 是 ， 它 表明 式 (6. 3. 9) 所 描述 的 假 ， 





设 检 验 问 题 的 两 个 测度 或 者 相等 或 者 奇异 [ 式 (6. 3. 2) 所 描述 的 假设 检验 问题 也 与 之 类 似 ]， 
决定 相等 还 是 奇异 的 关键 参数 是 


d A >)? AA (6. 3. 19) 
k=1 
根据 Mercer 定理 ， 有 
二 
Da = | | EN Hd < 00 (6. 3. 20) 


式 中 积分 值 有 限 是 因为 Cy ESR. BERR A Svar ZD >0, Blima=0, 那么 SGO? < 
是 d? 有 限 的 必要 条 件 。 根 据 式 (6. 3. 3)， 信 号 在 [0O，7] 上 的 能 量 可 表示 为 


T 
f je = SOY (6. 3. 21) 
0 


因此 ， 为 了 使 式 (6. 3. 19) 中 的 问题 非 奇异 ， 信 号 的 能 量 必须 有 限 。 然 而 ， 有 限 的 信号 能 量 
并 不 足以 确保 检测 问题 没有 奇异 性 ， 因 为 d A ROR D/A 可 和 ， 这 意味 着 信号 与 


Lae 
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噪声 自 相 关 的 特征 结构 之 间 具有 微妙 关系 。 
假设 2 地， 贝 叶 斯 、 极 小 化 极 大 和 尼 曼 -皮尔 撑 最 佳 检 验 的 判决 准则 均 可 表示 为 


1， D Z/a > loge +d? ar 


k=1 
oo 


STI =<y, >, SL dy = loge +a’ Ad (6. 3. 22) 


k=1 


oo 


0， py SZ / Ag < loge +d" Ad 





与 之 对 应 的 检测 器 结构 如 图 6. 3. 1 所 示 。 注 意 ， 该 结构 包含 无 限 组 连续 时 间 相 关 器 
《或 匹配 滤波 器 ) ， 它 们 分 别 对 应 噪声 的 不 同 特征 
函数 。 正 如 下 面 所 看 到 的 ， 从 应 用 出 发 ， 最 佳 检 
测 器 可 以 表示 为 更 简便 的 形式 ， 而 图 6. 3. 1 的 表 
示 形 式 非常 便于 解释 该 问题 。 特 别 地 ， 特 征 函 数 
{yr} 可 以 认为 是 包含 噪声 功率 的 正 交 “方向 ”的 集 
Eo 是 yi 方向 的 噪声 功率 ，$ 是 该 方向 的 信 
号 部 分 。 无 论 是 Hy 假设 还 是 H, (RI, yy EX 


都 使 得 在 yi 方向 上 的 相关 器 Z, = [ye OY de 的 


输出 序列 {2Zi) 欠 独立。 检测 器 将 这 些 独 立 的 输出 ”图 6.3.1 高 斯 噪声 中 的 最 优 相干 检测 结构 
按照 与 3.2 节 中 讨论 的 离散 时 间 问 题 类 似 的 方式 组 合 起 来 。 





在 图 6.3.1 中 ， 仅 有 信号 时 ， 输 出 之 (37 = d EHER: NARE, 输出 


X) a Ni,/X4 是 零 均值 且 方 差 为 d? 的 随机 量 。 因 此 ， 图 6. 3. 1 中 的 判决 门限 可 理解 为 信 品 


k=1 


比 ， 即 


_ (输出 信号 的 幅度 ) 。 

SNR。 一 “输出 紧 声 的 功率 一 人 

可 以 看 出 ， 奇 异性 的 条 件 可 以 理解 为 信 噪 比 无 穷 大 的 情况 ， 此 时 ， 可 根据 最 优 检测 器 的 输 
出 来 计算 信 噪 比 。 





(6. 3. 23) 


统计 量 》) $.Z,/X4 是 独立 高 斯 随机 变量 {2, } 志 ,的 均 方 和 ， 因 此 它 也 是 高 斯 的 。 在 H 
假设 下 ， 有 Zı~N O, Àr)» HA 


co 
SZ 


~ N(0,d*) (6. 3. 24) 
k=1 Àr 
在 H, 假设 下 ， 有 Ze ~N (Si， Ar) s Bp 
Sls NUP d) (6. 3. 25) 
fi Ab 


由 式 (6. 3. 24) 和 式 (6. 3.25), ， 可 以 计算 式 (6. 3. 22) 中 最 优 判决 的 性 能 。 特 别 地 ， 虚 警 概率 
由 下 式 给 出 
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SZ i d logr d 
PTD = Po( 3) it S loge 4 >) 1 o( 3 +7) (6. 3. 26) 
漏 警 概率 由 下 式 给 出 
= S BZ. dN logr d 
Pie) = Pi( 7 > logr+ 7) o< F) 


将 上 面 的 两 个 等 式 与 式 (2. 2. 31) 中 高 斯 误差 下 的 标量 位 置 检验 性 能 对 比 可 知 ， 除 了 a’ 
的 定义 存在 差异 ， 虚 警 概率 和 漏 警 概率 的 计算 式 与 标量 模型 完全 相同 。 例 如 ， 与 图 2. 2. 3 
中 所 描述 的 一 致 ， 贝 叶 斯 判决 在 均匀 代价 和 相等 先 验 分 布下 的 贝 叶 斯 风险 为 


1 d 
ros) = +P (P+ +P, T) = 1—($) (6. 3. 27) 


类 似 地 ， 对 虚 警 概率 为 a 的 尼 曼 -皮尔 逊 检测 器 ， 其 判决 门限 r* 为 @ Aad, WER 
为 

Pb 一 1 一 GLG (1 一 oo) 一 gd (6. 3. 28) 
相应 的 接收 机 工作 特性 曲线 见 图 2. 4.4。 除 了 可 能 存在 奇异 性 之 外 ， 求 解 出 检测 统计 量 
之 后 ， 在 高 斯 噪声 背景 下 ， 连 续 时 间 信 号 的 相干 检测 与 离散 时 间 信 号 的 相干 检测 完全 
相同 。 

在 给 出 似 然 比 的 男 一 种 表示 方式 之 前 ， 首 先 简要 讨论 信号 {s,; :EL0，T]} 不 能 表示 
成 式 (6. 3. 3) 的 情况 。 如 前 所 述 ，y 可 以 认为 是 一 个 含有 噪声 功率 的 正 交 ”方向 ”的 集合 。 
因此 ， 在 与 所 有 y 都 正 交 的 方向 上 ， 是 没有 噪声 功率 的 。 如 果 信 号 能 量 有 限 ， 但 却 不 能 
在 噪声 特征 函数 下 表示 ， 则 信和 号 在 一 个 与 所 有 的 y 都 正 交 的 方向 上 有 能 量 。 这 也 意味 着 
存在 某 个 方向 ， 它 上 面 只 有 信和 号 能 量 而 没有 噪声 能 量 ， 因 此 通过 寻找 此 方向 可 以 很 好 地 实 
现 奇 异性 检测 。 

特别 地 ， 考 虑 函数 


inas- F ihh OST 
它 与 所 有 的 p 正 交 ， 因 为 对 于 任意 的 正 整 数 m， 有 
| .rowcou = | sgn CD di — 5 eef ga (fm dE = Sn — Sq = 0 
如 果 考虑 判决 统计 量 | /CODY,dt ， 它 对 信号 的 响应 为 
[rosa = | .za 一 315)? 

表达 式 Digs 不 完备 时 上 式 非 负 。 同 样 ， 它 对 噪声 的 响应 为 

T ee 

| FON d= >) SAN f(t) dt = 0 


因此 通过 检测 单个 连续 时 间 相 关 器 的 输出 | /CDY,dt ， 可 以 很 好 地 判决 信号 是 否 存在 。 理 


解 该 问题 的 另 一 种 方式 是 ，F(z) 是 Cx 的 特征 函数 ， 记 为 办， 对 应 的 特征 值 为 = 二 0。 此 
时 ， EGADO, 则 d'=, 即 导 致 奇异 。 
命题 6. 3. 1 给 出 的 似 然 比 表达 式 ， 对 分 析 式 (6. 3. 2) 所 描述 的 假设 检测 问题 的 性 能 和 
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结构 非常 有 用 。 近 似 最 优 检测 器 的 实现 方法 ， 即 对 图 6. 3. 1 所 示 的 无 限 长 滤波 器 组 进行 蕉 
断 处理 ， 使 得 信 噪 比 损失 D) GO /a 可 以 忽略 。 不 过 ， 如 果 似 然 比 采用 Pitcher 定理 给 出 


的 形式 ， 检 测 器 将 具有 更 为 有 效 的 实现 方式 。 下 面 证 明 Pitcher 定理 。 
命题 6.3.2 Pitcher 定理 
假设 函数 H:[0, TI>RBLARED 


T 
=| Cyr wWdH@), << (6. 3. 29) 
0 
则 Po=P, 
dP, I. -4f 
log Sh: YD = | vano 一 去 | sano (6. 3. 30) 
以 及 
E 
a =| sdH (2) (6. 3. 31) 
0 


证 明 假设 {s,; :+E€[0，TJ} 可 以 表述 为 式 (6. 3.29), Hdd Mercer HH, Cy 可 表示 成 
一 致 绝对 收敛 级 数 的 和 ， 即 


Cw(t5u) = Si (t,u) € [0, T] (6. 3. 32) 
将 上 式 代入 起 (6. 3. 29) ， 并 交换 积分 和 求 和 的 顺序 ， 可 以 得 到 
= Dapo | pod), olt T (6. 3. 33) 
将 上 式 与 式 (6. 3. 3) 相 比较 ， 可 以 看 出 
[Codey = à, kampi (6.3.34) 


[注意 ， 式 (6. 3. 33) 意 味 着 式 (6.3.3) 有 效 ]。 考虑 到 H 的 变 分 有 界 且 Cy 的 连续 和 在 
[0，T]* 上 有 界 ， 那 么 下 式 中 的 二 重 积分 取 有 限 值 


| | cxcewaHGodH@y (6. 3. 35) 
0 0 
利用 Mercer 定理 和 式 (6. 3. 34) ， 积 分 可 改写 为 

oe T CT = 工 T 

Daf | du (0) gs (u) dH (1) dH (w) = Daf wdw | (aval) 

<] Jado = 0 0 





= >a uèi Sy 人 =d? (6.3. 36) 


k=1 


因此 ,中 一 co 成 立 ， 且 根据 命题 6. 3.1 有 P= 成 立 。 此 外 ， 因 为 [dD 等 于 
式 (6. 3. 35) 的 积分 ， 根 据 式 (6. 3. 36) 可 以 直接 推出 式 (6. 3. 31) 成 立 。 
由 式 (6. 3.7) 可 知 ， 观 测 信号 可 表示 成 Y = > Ziy(D) ,0 之 :之 工 的 形式 。 再 次 利用 
式 (6. 3.34)， 可 以 得 到 j 
~ 5:2; 


a r 
Frano = 2) poio = > (6. 3. 37) 
9 k=1 $ k 


k=1 
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综合 式 (6. 3. 37)、 式 (6. 3.11) 和 式 (6.3.31) 后 ， 可 推出 式 (6. 3. 30) 成 立 。 至 此 ，Pitcher 
定理 证 明 完 毕 。 


相 比 式 (6. 3. 2) 而 言 ，Pitcher 定理 给 出 了 最 优 检测 器 的 更 为 简洁 的 实现 形式 。 尤 其 是 
式 (6. 3. 30) 仅 需 计算 单个 积分 [YAH Co) ,而 非 求解 积分 序列 | OY. de. FARE ORR H R 
涉及 一 个 积分 等 式 , 即 式 (6. 3. 29)( 也 称 Pitcher 等 式 ), 而 非 求解 所 有 的 特征 函数 等 式 
a(t) =f Cj ET, 


假设 HOi, BIAG SdH(t)/dt, Pitcher 定理 中 的 似 然 比 与 离散 时 间 模 型 的 似 然 
比 之 间 的 关系 非常 明显 。 此 时 ， 积 分 式 (6. 3. 29) 可 以 写 为 


T 
s=] CN tsuh ludu, OSt<T (6. 3. 38) 
0 














最 优 检测 统计 量变 为 
dP, 
dP, 


有 趣 的 是 ， 将 上 面 两 式 分 别 与 式 (3.2.25) 和 和 式 (3.2.23) 比 较 ， 用 天 替换 8Y。 可 以 看 到 
式 (6. 3. 38) 是 向 量 s = Byh 在 连续 时 间 下 的 等 价 表 达 式 ， 或 者 





log EFT) =| Yhd- 4| sh dt (6. 3. 39) 
0 


S = Sghir l<k<n (6. 3. 40) 
j=1 


显然 ， 上 式 给 出 了 离散 信号 最 优 相干 检测 中 “ 伪 信 号 ”h 的 形式 。 类 似 地 ， 式 (6. 3. 39) 的 离 
散 形式 为 


pı Y) 
Do (Y) 


rE, Pitcher 定理 给 出 了 连续 时 间 模 型 的 似 然 比 的 直接 表述 方式 ， 而 定理 6.3.1 描述 了 
预 白 化 后 的 似 然 比 。 

上 述 解释 能 够 很 好 地 将 Pitcher 定理 与 相应 的 离散 结果 有 机 联系 起 来 。 不 过 ， 对 于 连 
续 的 Cw， 通 常情 况 下 互 (i) 是 不 可 微 的 。 因 此 ， 有 必要 进一步 给 出 式 (6.3.30) 和 
式 (6. 3. 31) 的 更 一 般 性 解释 。 下 面 用 具体 例子 来 说 明 如 何 应 用 Pitcher 定理 。 

高 斯 白 噪声 下 的 相干 检测 

高 斯 白 噪 声 是 实际 应 用 中 最 普遍 的 噪声 模型 。 在 离散 采样 下 ， 高 斯 白 噪声 是 独立 同 分 
布 且 均 值 为 零 的 宽 平 稳 随 机 变量 序列 ， 其 自 协 方差 矩阵 可 表示 为 


Cy (k,l) = CNCR 一 0,0) A CyCR-1D) = Moa» klLEZ (6. 3. 42) 


其 中 6; 是 克 罗 内 克 冲 激 函 数 (4 关 1 时 8 一 0; k=l 时 54 一 1)，No/2 是 序列 中 每 一 个 元 素 
的 方差 。 正 如 第 5 章 所 述 ， 之 所 以 称 为 “ 白 噪 声 ” 是 因为 它 的 能 量 谱 密 度 为 常数 ， 即 

No 
> 








log = 和 一 六 is = X) uY, — FD hs (6. 3. 41) 
k=1 k=1 


by (w) A 2 Citic = 
连续 时 间 下 高 斯 白 品 声 的 自 协 方差 本 数 可 以 等 价 表 示 为 


Cy htu) = Cyt = u0) A Cy — u) = Mau — u), tu ER (6. 3. 44) 


-ros n (6. 3. 43) 
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其 中 63 是 狄 拉克 冲 激 函 数 ”。 连 续 时 间 信 号 的 功率 谱 密 度 对 应 式 (6. 3.43) 的 传 里 叶 积 
分 ， 即 - 


du Coad =|" ew Neg ae = = 20 jy at 00 (6. 3. 45) 


= 2 
因此 ,与 式 (6. 3.44) 所 描述 的 自 协 方差 函数 对 应 的 随机 过 程 具 有 平坦 的 功率 谱 密 度 ， 
No/2 称 为 噪声 的 功率 谱 幅 度 。 

遗憾 的 是 ， 真 实 的 物理 现象 和 数学 意义 上 的 随机 过 程 均 不 存在 理想 的 高 斯 白 噪声 。 首 
先 ， 对 于 任何 一 个 物理 现象 都 不 可 能 在 所 有 的 频率 分 量 中 有 相等 的 非 零 能 量 。 其 次 ， 尽 管 
实际 中 不 存在 理想 高 斯 白 噪 声 的 原因 较为 复杂 [人 参见 Skorohod(1974) ], 但 是 从 二 阶 随机 
过 程 来 看 ， 由 于 EN =C, 二 (No/2)6(1 一 1) 二 oo， 所 以 确实 不 存在 理想 的 高 斯 白 
噪声 。 不 过 ， 式 (6. 3. 44) 给 出 的 自 协 方差 结构 在 分 析 建 模 中 非常 有 用 ， 且 常用 来 对 大 带宽 
信号 进行 建 模 。 一般 而 言 ， 分 析 线 性 系统 在 白 噪声 下 的 输出 特性 相对 容易 。 在 信号 检测 方 
面 ， 可 以 按照 下 面 的 步骤 来 严格 处 理 白 噪声 问题 。 

假设 信号 检测 问题 可 描述 为 

HosY, = N,, 0 让 < 

i 
其 中 ，{(N 1€EL0，}) 表 示 高 斯 白 噪声 ，{s,; :EL0，T]} 是 确 知 信号 。 先 不 考虑 其 他 问 
题 ， 由 于 {NN,; 1:€[L0，T]} 没 有 二 阶 项 ， 不 能 利用 本 节 的 内 容 直 接 推 出 其 似 然 比 。 然 而 ， 
可 以 构造 一 个 等 价 的 问题 ， 进 一 步 通过 对 式 (6. 3. 46) 进 行 积分 求解 ， 得 到 下 面 的 信号 检测 
模型 


No 
2 9 


(6. 3. 46) 


H,:X, = W,; bee T 


(6. 3. 47) 
H,:X,=W,tm, 0<t<T 


其 中 , X a | YuduW, a | Nudusm, 全 | sudu 容易 证 明 : (W; +t€ [0，T]) 是 零 均值 高 


斯 过 程 ， 甚 自 协 方差 矩阵 为 


Celta = Ne min{tsu) , Cru) € To, TE (6. 3. 48) 


拥有 上 述 特性 的 随机 过 程 称 为 维 纳 过 程 。 由 于 Cw, WELO, TË 上 连续 ， 所 以 可 根据 之 
前 的 方法 计算 似 然 比 。 具 体 步 又 是 : 首先 求解 式 (6. 3.47) 所 描述 的 假设 检验 对 的 Pitcher 
等 式 (6. 3. 29) ， 即 求解 


; 
m= | CrGowdH ws CSET (6. 3. 49) 
0 


T 
f s,du= 


IRA m, 和 Cw 后 ， 得 到 





工 
~of min{t,u}dH(u) 





O SORTER ORME) LAM, JERE te z= 0 处 连续 且 满 足 | ”7(z)6Cz)dz = /0) 的 任意 函数 ,实际 上 ， 
没有 一 个 真实 的 函数 能 具有 这 样 的 特性 ,因为 它 要 求 8 满足 8(0) 一 十 = 和 lima(z) 一 0 。 
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= 学 | udH(u) + No if dH Cu) 
N, 
= >f wd Cay + Sul H(T) — HW] (6. 3. 50) 


对 等 式 右边 的 第 一 项 进行 分 部 积分 后 ， 有 


E we NUH O =|; Hiutdal Se 


LHC) 一 H(t) J 


= ŽU S THD — Hw) du), 0 (6.3. 51) 


假设 信号 在 L0，T] 上 有 界 ，Pitcher 等 式 的 解 为 





HT — as 这 全 
H(t) = No (6. 3. 52) 
H(T), t=T 
其 中 ACT) BERN. A% s 如 图 6.3.2 所 示 。 
sS, H(t) 
H(T) 
0 t— T 0 t 一 T 


图 6.3.2 维 纳 噪 声 的 Pitcher 等 式 求解 示意 图 


进一步 假设 信号 在 终点 :一 工 处 连续 ， 因 为 H ESTAA 2s,/No 的 跳跃 ， 那 么 似 然 
比 为 


<a 
No 





1 
jg LXD =- | (x =m) )ds, + (Xr — mr )sr (6. 3. 53) 


又 因为 5 一人， 分 部 积分 后 可 以 得 到 


log Gp 9 (Xe = 4. sd — +m.) 
= ce s,dX, — ar s,dm, 
2 T ae 4 
ss HI sax, 总 | .aa (6. 3. 54) 


上 式 就 是 著名 的 Cameron- Martin 公式 。 下 面 将 要 讨论 ， 对 于 满足 | di < co 的 任意 信 


号 Cameron- Martin 公式 都 成 立 。 如 果 将 初始 观测 值 Y, 视 为 X, 的 微分 (因为 初始 信 
包含 白 噪声 ， 这 仅仅 是 启发 式 的 解释 )， 那么 上 式 的 物理 意义 将 非常 明了 。 和 
式 (6. 3. 54) 写 为 


T $ 
m an (YT) = Z f sYd 一 总 | ëd (6. 3. 55) 
0 


在 离散 时 间 模 型 中 ， 利 用 包含 服从 N(0，No。/2) 的 高 斯 加 性 白 噪声 的 观测 值 Yi = Y, 
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检测 确 知 信号 5s;，…，s, 的 似 然 比 [ 见 式 (3. 2.9)] 为 


(YG) 2 1 
1 Pit) _ 2 ie z 
TE x Ys A > i (6. 3. 56) 


显然 ， 式 (6. 3. 55) 和 式 (6. 3. 56) 类 似 。 特 别 地 ， 式 (6. 3. 55) 是 相关 器 或 匹配 滤波 器 的 连续 
时 间 形 式 ， 相 应 的 检测 判决 是 











1， aed EF 
(Yi) = 3 Yy ahi (YY =r (6. 3. 57) 
0 
QO, = (Yi) < T 
0 








具体 检测 流程 如 图 6. 3. 3 所 示 。 
式 (6. 3.57) 所 描述 的 检测 器 的 性 能 由 d? 的 数 “ 
值 决定 ， 它 可 根据 Pitcher 定理 按照 下 式 计 算 


d'= | mano = f mds, + A a F Feja Ze "~ 
0 NoJo No s < 0 


2 fe sı 
= al sidt (6. 3. 58) 








图 6. 3. 3 ”高 斯 白 噪声 下 相干 信号 检测 结构 





显然 ， 检 测 性 能 由 总 信号 能 量 与 噪声 的 功率 谱 幅 度 
的 比值 决定 。 此 外 ， 由 于 信和 号 能 量 有 限 ， 所 以 不 会 出 现 奇 异性 。 

事实 上 ， 根 据 Pitcher 定理 ， 图 6. 3. 3 中 接收 器 的 结构 可 由 和 白 噪 声 模型 (6. 3. 46 ) 直接 
得 到 。 假 设 H A) GN Aida) =dH@)/dt 后 ， 可 以 得 到 





52 hover = af Sr — Ata = Naw (6. 3. 59) 

FEA A(t) =(2/No)s,. HARAR E A 5 
ee di LOD) = A aTa Y,dt— oan side | (6. 3. 60) 
这 与 式 (6. 3. 55) 相 同 。 当 然 ， a Pitcher 定理 ， 但 可 以 理解 为 噪声 在 较 宽 
频带 内 具有 平坦 谱 结 构 下 的 近似 最 优 接收 器 结构 。 < 


针对 其 他 不 同 结构 的 协 方差 矩阵 模型 ， 同 样 能 得 到 相应 的 Pitcher 等 式 的 解 ， 在 本 章 
习题 中 也 会 涉及 一 些 具体 求解 实例 。 一 般 情况 下 ， 解 H 在 观测 期 间 可 微 ， 但 在 端点 处 不 
连续 (如 例 6. 3. 1 中 维 纳 过 程 的 情况 )。 由 于 这 个 原因 ， 非 常 容易 理解 H O) E RR AY 
积分 ， 且 hh(2) 在 (0,，T) 内 是 实 值 ， 并 且 在 端点 处 有 奇异 点 ( 即 犹 拉克 冲 激 函数 )。 基 于 上 
述 理解 ，Kailath 在 1966 年 给 出 了 Pitcher 方程 的 求解 方法 。 

现在 讨论 关于 Pitcher 方程 的 最 后 一 个 问题 ， 通 常 假设 Pitcher 方程 具有 如 下 形式 : 


(@ = Coltsu) +a w), (t,u) € [0,T]? (6. 3. 61) 


其 中 Co 是 连续 函数 ，No 之 0， 即 噪声 由 连续 分 量 和 加 性 白化 分 量 ? 构 成 。 与 例 6.3.1 相 . 
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同 ， 根 据 Pitcher 定理 ， 式 (6. 3. 52) 的 解 通常 是 可 微 的 ， 且 导数 满足 
T 
s, = | Coltsuh(urdu+ Non), 0<t<T (6. 3. 62) 


该 式 也 称 为 第 二 类 Fredholm 积分 等 式 ， 与 之 对 应 的 求解 方法 是 众所周知 的 [参见 Lovitt 
(1950) ], No =0 对 应 第 一 类 Fredholm 等 式 ， 它 的 解 在 :一 0 或 上 一 人 处 有 奇异 点 。 加 入 
No>0 的 白 品 声 后 可 抑制 这 些 奇异 点 。 与 例 6. 3. 1 一 样 ， 上 述 分 析 方 法 在 一 定 程 度 上 是 非 
常 续 密 的 。 
6.3.2 参数 未 知 的 信号 检测 
与 第 3 章 的 讨论 一 样 ， 信 号 形式 已 知 但 包含 某 些 未 知 参数 是 信号 检测 的 常见 模型 。 例 
如 ， 对 正弦 信号 而 言 ， 相 位 、 频 率 及 幅度 等 先 验 信 息 是 未 知 的 。 
为 研究 参数 未 知 的 连续 时 间 检 测 问 题 ， 考 虑 以 下 假设 检验 
Hy e¥, = Nes xta T 
Hy = tT 
其 中 ，s,(0) 是 在 集合 A 上 取 值 的 未 知 参 数 9 的 已 知 函 数 ，{NN,; EL0，T]) 表 示 功 率 谱 幅 
EX No/2 的 高 斯 白 噪声 。 与 例 6.3.1 一样 ,通过 对 观测 值 进行 积分 后 ， 可 得 到 更 利于 处 
HRERS 


(6. 3. 63) 


Hy :X, = W,, Oia T 
f (6. 3. 64) 

Hi:X, = W.+| s,(@ du, 6a T 

NE ) 的 维 纳 过 


进一步 假设 | st) dt 一 co 对 所 有 0EA 成 立 ， 那么 对 于 给 定 的 20， 根据 式 (6. 3. 54) 所 描 
述 的 Camron- Martin 公式 ， 可 得 出 似 然 比 为 


T 
LyX) a TEAD = exp i|, AX, — RI st Oae) (6. 3. 65) 


= IP NoJo 
BEZAR ACR", 根据 之 前 讨论 的 结果 ， 可 以 采用 三 种 方法 进行 MS ,的 检验 。 
它们 是 : 判决 准则 为 
max Pp (|), OE hs St PrO Sa (6. 3. 66) 
的 UMP 检验 ; 在 Hi 下 ， 在 参数 集 A 上 指定 先 验 分 布 w(9) 的 检验 (包括 贝 叶 斯 假设 检验 、 
极 小 化 极 大 假设 检验 和 尼 曼 -皮尔 逊 假设 检验 ); 将 广义 似 然 比 
和 (6. 3. 67) 
与 门限 进行 比较 的 最 大 似 然 比 检验 。 
对 于 虚 警 概率 为 a 的 UMP 检验 ， 当 上 且 仅 当 可 独立 于 0 PER BEM Ty = (Ly (YO) >t) 
Hf, Poo Sa 对 所 有 0EA 才 存在 。 因 此 ， 所 有 简单 检验 都 可 以 通过 比较 平均 似 然 比 


| Ly (XT) w(0) d6 (6. 3. 68) 
A 





与 门限 的 大 小 来 实现 判决 目的 。 





日 ”6.4 节 将 会 讨论 一 类 广义 高 斯 噪声 过 程 可 线性 退化 为 维 纳 过 程 ， 即 式 (6. 3. 64) 可 视 为 加 性 高 斯 噪声 的 广义 模型 。 
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如 果 不 进一步 限制 信号 模型 ， 那 么 就 难以 分 析 不 同 判 决 准则 的 异同 。 不 过 ， 如 果 给 定 
Ls 具有 式 (6. 3. 65) 所 描述 的 形式 ， 连 续 时 间 模 型 和 离散 时 间 模 型 的 检测 器 就 没有 本 质 差 
别 。 下 面 的 例子 将 说 明 这 一 问题 ， 这 个 例子 与 离散 域 的 例 3. 2. 5 比较 相似 。 

白 噪声 中 部 分 参数 已 知 的 正弦 信号 检测 

考虑 以 下 信号 模型 

5.(0) = asin(wt +9), 0Ziti<T (6. 3. 69) 

其 中 ，w. 是 满足 w.T/r 为 整数 的 已 知 频率 ; 9 为 未 知 相位 ; {a,; 0 委 : 委 了 T) 为 已 知 波形 ， 
且 满 足 


于 | .ad Aa < co 

TJo = 

为 简单 起 见 ， 假 设 
T 
| a? cos(2w,.t +¢)dt = 0 (6. 3. 70) 
0 


对 所 有 0 三 $2x 成 立 。 事 实 上， 当 为 常数 或 升 余 弦 时 ， 式 (6. 3.70) 一 定 成 立 。 此 外 ， 
如 果 a? 的 变化 相 比 频率 为 2w. 的 正弦 信号 而 言 要 慢 得 多 ， 式 (6. 3. 70) 也 近似 成 立 。 
给 定 2 后 ， 式 (6. 3. 64) 的 似 然 比 为 


LXD = exp| i|, avsin(os + D9X, 一 让 | al sin’ Got + Od (6. 3.71) 
定义 Y. SY. 为 
Y, = [a,cos(ant)AX, 
All 
Y= | asincwaodX (6. 3. 72) 
利用 三 角 等 式 sin(a +6) =cosasinb+sinacosh, 3È (6. 3.71) 的 指数 项 中 的 第 一 项 可 变 为 
+ (Y, sind + Y,cos0) 


利用 三 角 等 式 2sin? (a) = 二 1 一 cos(2a)， 并 代入 式 (6. 3. 70) 后 ， 指 数 项 中 的 第 二 项 可 变 为 
aT aT 








I | ies us = 
2N, AE cos (Zat +20 dt = ae (6. 3. 73) 
因此 ， 可 得 出 
Li (XD = ety X exp {a Y. sind + Y,cos@) (6. 3. 74) 
0 


将 式 (6. 3.74) 与 例 3. 2.5 所 得 的 似 然 比 进行 比较 ， 可 看 出 除了 Y. SY, 的 定义 不 同 
外 ， 高 散 时 间 与 连续 时 间 的 条 件 似 然 比 一 致 (T==n)。 因 此 ， 就 例 3. 2. 5 及 第 3 章 习 题 中 关 
于 {a,} 与 9 的 多 种 假设 模型 所 得 的 似 然 比 而 言 ， 只 要 Y. ALY, RAAG. 3.72) 的 定义 ,在 
与 之 对 应 的 连续 时 间 模 型 中 都 成 立 。 此 外 ， 由 例 3. 2. 5 所 推导 出 的 性 能 表达 式 在 连续 时 间 
情况 下 也 成 立 。 为 说 明 该 问题 ， 注 意 到 对 给 定 的 9，{X,; 0 二: 二 了 T} 在 两 种 假设 下 均 为 高 斯 
随机 过 程 。 又 因为 Y. SY, 是 X? 的 线性 变换 ， 因 此 它们 也 是 高 斯 的 。 可 见 S， 对 [0，Tj] 区 


日 ”该 性 质 见 6.47. 
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间 上 的 任意 两 个 均 方 可 积 函 数 / 和 gg， 有 
E{{ faaw,|=o (6. 3. 75) 
和 
E{| fow, | scoaw, | = Yf fogod (6. 3. 76) 


HP, (Wis OST) ES. PTFE CN, /2)min{t, u) HAW. HET. MA 
定 的 0， 可 直接 得 出 


E{Y.|H,}= jsing 


EN, H= je a (6. 3. 77) 
N, F 
4 





var{Y.|H,}= var{Y,|H,} = 





cov{Y. Y; |H; }=0 
其 中 7 二 0，1。 将 式 (6. 3.77) 5] 3. 2. 5 对 应 的 量 进行 比较 ， 给 定 9 后 ,，Y. SY. 的 统计 特 
性 与 其 离散 时 间 对 应 的 量 是 一 致 的 。 又 因为 似 然 比 表达 式 也 一 致 ， 所 以 例 3. 2. 5 的 性 能 表 
达 式 对 连续 时 间 情 况 也 成 立 。 < 
可 见 ， 就 相干 检测 而 言 ， 只 要 确定 了 对 应 的 似 然 比 ， 具 有 随机 参数 的 连续 时 间 信 和 号 检 
测 与 离散 时 间 检 测 类 似 。 式 (6. 3. 64) 与 信号 参数 估计 的 联系 将 在 第 7 章 具体 介绍 。 


6.4 高 斯 噪声 中 的 随机 信号 检测 
在 6.3 节 中 ,已 经 给 出 了 确 知 信号 和 部 分 参数 未 知 信号 的 检测 方法 。 不 过 ， 与 第 3 章 
类 似 ， 在 很 多 实际 应 用 中 需要 将 感 兴趣 的 信号 建 模 成 完全 随机 过 程 。 例 如 ， 在 声 纳 和 射电 
天 文学 里 ， 传 播 媒介 的 随机 扰动 会 破坏 信号 的 参数 化 结构 。 本 节 将 讨论 高 斯 噪声 中 的 随机 
言 号 检测 问题 。 
特别 地 ， 考 虑 在 谱 幅 度 为 No/2 的 加 性 高 斯 白 噪 声 中 检测 随机 信号 {(S,; OKT}. 与 
前 面 处 理 白 品 声 的 过 程 一 样 ， 首 先 对 观测 值 积 分 得 到 以 下 模型 
MX, =W, 0<t<T 
Hi:X, =| Sudu +w., LILT Mine be 


RP, (Wes 1€ [0，T]) 是 维 纳 过 程 ,| Sdu 表示 {S,; 0<1<T} 的 均 方 积分 。 可 见 ， 模 型 
中 维 纳 噪声 的 约束 条 件 并 不 苛刻 ， 因 为 许多 高 斯 噪声 经 过 “白化 处 理 "后 都 能 线性 转化 成 维 
纳 噪声 。 本 节 主 要 讨论 {S,; 0 三 :之 T} (也 是 高 斯 随机 过 程 ) 的 情况 ， 非 高 斯 过 程 也 将 简要 
介绍 。 
6. 4. 1 维 纳 过 程 的 初步 结论 
—— 为 便于 理解 ， 首 先 给 出 维 纳 过 程 的 一 些 性 质 。 在 整 
个 讨论 过 程 中 ，{W,; 0<1/<<T) 表 示 参 数 为 N,/2 的 维 纳 过 程 ， 即 {W,; 0<1<<T)} 是 均值 
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为 零 、 协 方差 为 E{W,W,}) 王 CNo/2)min{t，w) 的 高 斯 过 程 。 现 将 维 纳 过 程 的 一 些 相 关 性 质 
总 结 如 下 。 

命题 6. 4. 1 维 纳 过 程 的 性 质 

维 纳 过 程 {W,; 0<t<T) RAPER: 

1) W,=0 以 概率 1 RZ; 

2) E{CW, 一 WD) (W.-W, J =(No/DLU Cu, WAG, NIMH t>s0 A u> 成 
Zz, HP l{(a, b)}=b—-a; 


D SARS 三 在 [0， 人 内 平方 可 积 ,| SW, 以 均 方 积分 形式 存在 ; 
D 如 果 | faw, 存在 ,那么 E(| fdWw.\= 0 
5) 如 果 ftog 在 [0，T] 内 平方 可 积 ， 那 么 

efra er) hres 


a 


E(w. fdW, | = Nl" y du 

证 明 HERR 1) 和 2) 可 由 WE 的 自 协 方差 结构 直接 得 到 。 人 性质 3) 可 以 由 性 质 2) 和 均 方 
收敛 的 柯 西 准则 [ 见 式 (6. 3. 17)] 推 出 。 根 据 WE 的 二 阶 统计 特性 ， 假 设 可 交换 期 望 与 均 方 
极限 的 顺序 后 ， 根 据 第 5 章 的 内 容易 知性 质 4) 和 性 质 6) 成 立 。 接 下 来 证 明 性 质 5) ， 其 他 
性 质 的 证 明 留 作 练习 。 

为 了 证 明 性 质 5) ， 首 先 ， 如 果 {X,} 空 与 {Z,} 汪 分别 是 在 均 方 意义 上 收 伊 到 X 5 Y 
的 二 阶 序列 ， 那 么 E(X,Y,)>E(XY), 此 外 ,| faw, JED) fe Wio — Woe) 的 均 方 要 
限 ， 其 中 ， O= th? <<” = T, EP ele, AP Js A, A max |t? — 4" | 趋 近 0, 用 Bm 


RES o 后 ,| gdW, 可 用 同样 的 极限 表示 。 因 此 可 得 到 
E{| faw, f gaw,) = lime X fe Wo — Wee] Dd ge [Wi 一 WA 


= lim >, 2) fe g E( LW — Ww EW — Wyo T (6. 4. 2) 
M0 jar” t Žž $ g 
由 性 质 2) 可 得 
No ae 
| —72 1, 1= 
EW» — We [We We] = 2 : (6. 4. 3) 
0， Æj 
将 式 (6. 4. 3) 代 入 式 (6. 4. 2)， 可 得 
T T f 2 5 
E{| fdaw,| gdW,) = lim D fege L 
9 g sl 


这 就 是 需要 证 明 的 结果 。 口 





@— 197 =AOl Peid (6.4.4) 
0 


~ 
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根据 命题 6. 4. 1 中 的 性 质 ， 在 命题 6. 4. 2 中 可 得 到 维 纳 滤波 的 另 一 种 非常 有 用 的 等 价 
表达 形式 。 接 下 来 ， 先 定义 正 交 函数 的 完备 性 。 

定义 6.4.1 正 交 函数 的 完备 性 

记 [0，T] 上 的 正 交 元 数 集合 为 {四 ) 六 !， 如 果 定 义 在 [0，T] 上 的 任意 平方 可 积 了 画 数 f 
都 可 以 表示 成 如 下 形式 


= MPG OST (6. 4. 5) 
k=1 


MA ER BRE ALO, TESS. HP fra [fb0 dksk = 1,2，… 和 
式 (6. 4. 5) 在 平方 可 积 意 义 上 收 化 ， 即 
limf [大 一 D 包罗] de = 0 (6. 4. 6) 


命题 6.4.2 维 纳 过 程 的 表示 
假设 {四 ) 必 1 是 [0，T] 上 的 完备 正 交 函数 集 ， 则 维 纳 过 程 {W,; KaT 可 表示 为 


W,— Dd) Wal hd 0<ti<T (6. 4.7) 
k=1 0 


KW A 和 (DdWsk 一 12,… ， 求 和 运算 对 应 均 方 和 。 
证 明 Welo, Tl]. 有 
E{[w.— » Wf adu] } = E(W?} 一 2 >) EUW, Wad | eC du 
+ I SEW, W, 中 A Dduf wdu (6. 4. 8) 
KA E{W?}=(N,/2)¢, MPA 6. 4. 1 可 得 iii 
EW, Wi} = P| bl du 


— N, (7 
E(w, W,} = Nel pi (1), (1) de 


MAb: bi) FETE H IEE PHBE, HERG. 4. 8) 变 为 


SP- >) (f code) ] 


jw ly Gwe 
> 0, luL T 


定义 函数 1 为 


(6. 4. 9) 


并 定义 名 a [WP Gddu= fF. Wdus = 1,260 | CF = t< o0, (h) 完备 则 意 
味 着 

limf [19 = >) awT du = 0 (6. 4. 10) 
进而 可 直接 得 出 
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| [a -7 Îi pi Cu) | du = t — Sey ar ve (| $du) (6.4. 11) 
ket k=1 k=1 o 


比较 式 (6. 4. 8) 与 式 (6.4.11)， 根 据 式 (6.4.10)， 有 >) Wa | A Ddu > W, m. s.) 成 立 ， 
即 定理 证 毕 。 

命题 6. 4. 2 给 出 了 维 纳 过 程 在 任意 完备 正 交 函 数 集 上 的 表示 形式 ， 由 此 可 方便 地 推导 
出 在 加 性 白 噪声 中 检测 高 斯 信号 的 似 然 比 。 

命题 6. 4. 3 高 斯 过 程 与 维 纳 过 程 的 转换 

假设 {Y,; 0 二 1 过 TT} 是 二 阶 零 均值 高 斯 随机 过 程 ， 其 特征 值 为 {Xi) 信 1 且 对 应 的 正 交 特 
FE BRA peticio HE PRR yy bi HSA ASO, 二 1]，2，…， 则 随机 过 程 为 














Za D PAOS adu, ozis T (6. 4. 12) 
k=1 0 
T 
该 过 程 为 单位 (N, 一 2) 维 纳 过 程 。 HPL, 一 | Yu Cdek = 1.20 
0 


证 明 显然 , 命题 6.4.2 所 定义 的 系数 序列 { 做 ,) 亿 :可 视 为 独立 同 分 布 于 NM (0， 
No/2) 的 随机 变量 序列 。 根 据 6. 2 节 中 的 相关 结论 ，{ 产 ,} 信 1 是 服从 NC(0，Xi) 分 布 的 独立 
随机 变量 序列 。 因 此 ，{ 这 /A ) 忆 1 是 服从 N(0，1) 的 独立 同 分 布 随机 变量 。 因 此 ， 对 比 
式 (6. 4. 12) 和 式 (6. 4.7) 易 知 : 统计 意义 上 ， 式 (6.4. 12) 与 式 (6.4.7) 在 No /2=1 下 一 致 ， 
即 式 (6.4.12) 中 的 {Z,; 0 过 tT} 必 是 维 纳 过 程 。 口 

备注 ”命题 6.4. 3 是 “白化 ?后 的 结果 ， 即 它 给 出 了 满足 约束 条 件 的 任意 高 斯 过 程 转换 
成 维 纳 过 程 的 方法 。 实 际 上 ， 该 维 纳 过 程 与 原 过 程 {Y,; 0 三 1: 过 TT) 等 价 ， 因 为 利用 六, = 
A | he AZ, Ck 一 1,2,…) 可 得 到 立 ， 然 后 通过 Karhunen- Loéve 展开 可 得 到 Y, AKA 
VE de a EER Ns HA, >OCR=1, 2, ++) BORA MULEY, OKT) 足以" 填 满 ? 平 
方 可 积 函 数 的 空间 。 又 因为 {Z,; ONT) EY; 0 过 1 过 TT} 的 线性 变换 ， 所 以 在 加 性 维 纳 
过 程 中 推导 的 结论 在 满足 命题 6. 4. 3 要 求 的 任意 加 性 高 斯 噪声 下 都 适用 。 

6.4.2 白 噪 声 中 检测 高 斯 信号 

现在 考虑 用 式 (6. 4. 1) 所 描述 的 模型 检测 高 斯 信号 {S,; 0 委 走 了) 的 问题 。 假 设 随机 过 
程 {S,; 0 过: 过 TT) 均 方 连续 且 与 {W,; OST) AA. (Ws OST) AY BP Te He Pw RK 
C, 的 特征 值 为 {XA} 六 !， 相 应 的 正 交 特征 函数 为 {ys bi TRACP BT. MB eb TE o 
不 过 ， 即 使 {yi} 纺 1 不 完备 ， 在 完备 假设 下 所 推导 出 来 的 结论 也 同样 适用 。 

考虑 均 方 和 


Y Rif pedu (6. 4. 13) 
其 中 ， Xa | pdx, 一 12 o 在 H, 假设 下 ， 因 为 X,=W,, 所 以 根据 命题 6. 4,2 
DAFI R, 5X. 相同 。 在 H 下 有 


T t F 
z= | nol S.du+| g(t) dW, 
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T Ki 
= | p DS d+ | paw, =§+W, (6. 4.14) 


Jip, W, 的 定义 与 命题 6. 4. 2 AIR. $, 是 {S,; OST) p 上 的 Karhunen-Loéve 展开 
系数 。 由 于 Karhunen-Lotve 变换 在 时 间 上 上 一 臻 收敛， 因此 有 


> S, | gC du = ip > Sd Gdn = [Sedu (6. 4. 15) 
即 在 H, 下 ， 式 (6. 4. 13) 可 有 效 表示 X,。 
方程 (6. 4. 13) 将 连续 时 间 观 测 值 {X,; 0 三 1 过 TT) 化 简 为 等 价 的 离散 时 间 观 测序 列 
{ 义 ,} 六 1 。 显 然 ， 这 个 序列 在 两 种 假设 下 均 为 独立 高 斯 随机 变量 ， 差 异 仅 在 于 H 假设 下 服 
MR ~N O, N/D ti, Hi 假设 下 服从 六 ,一 NMN(C0， 和 办 十 No/2) 分 布 。 因 此 ， 式 (6.4.1) 
描述 的 高 斯 信号 检测 问题 等 价 为 


Ha: 名 ~N (0%), k= 1,2, 
(6. 4. 16) 
H: f, ~N (0, a+ At), 2 = pen 


至 此 ， 可 以 应 用 Grenander 定理 研究 它 的 似 然 比 和 奇异 性 。 
命题 6.4.4 ”自曝 声 中 高 斯 信号 的 似 然 比 
考虑 高 斯 信号 {S,; 0ST) FAC. 4.1) 的 假设 检验 问题 。 有 Ps 三 Pi E 


Gp: (XY) = (II 元 Ae) * exp (yr Da Ri (at) 4.17) 
其 中 ， 求 和 运算 指 均 方 和 。 
证 明 ”利用 Grenander 定理 来 证 明 。 式 (6. 4. 16) 所 描述 的 基于 初始 n 个 观测 值 义 oe X, 
的 检测 问题 是 第 3 章 [ 见 式 (3. 2.85)] 所 讨论 的 在 加 性 噪声 向 量 中 检测 高 斯 信号 向 量 的 特 
例 。 因 此 ， 基 于 六 ， 入 , ，…， 放 ,的 对 数 似 然 比 为 





logf, (XT) = — Dylog + 2u /N +5 -Dù Ri/ (as +5) (6. 4. 18) 
利用 不 等 式 O<log(1t+2)<2(a>0), MFAER AA ALSO 成 立 ， 可 得 
< Dylog( + /No) < x DM <œ (6. 4. 19) 
0 k= 


因此 ， 只 要 式 (6. 4. 18) 的 第 二 项 收敛 ， 就 能 够 证 明 f,, ADR. AE e EL 
式 (6. 3.17)]， 在 Wi 下 ， 该 项 在 均 方 意义 上 收敛 的 条 件 是 


lim sapEi[( $ a Ri/ (ae + ~e) ]=。 (6. 4. 20) 


k=ntl 


进而 可 以 得 到 


E[(>)a ia +%e))] 


191 


192 


信号 检测 与 估计 


ER, FEI PSR AAT XA ，…， 久 ,的 独立 性 。 在 H (EER. Xi~N O, a +N, /2), 
BM var, (Xp) =2 Ar +No/2)? 和 E (= +No/2. (RAI, E. 4. 20) 的 左边 变 为 


lim sup[2 >) ag + CD) av? J= lim[2 Sak +0 aw? ] (6. 4. 22) 
moo men Enti k=ntl we!” kenFl k=nt1 
EKE, EUS REF DIA 二 co 也 意味 着 》) 愉 二 co ， 因 此 式 (6.4. 22) 中 的 极限 为 零 。 
k=1 k=1 


既然 A, 假设 下 log 记 (Xe ) 均 方 收敛 ， 即 log f, XT) A f, (XI) 均 依 概率 收敛 ， 那 么 根 
据 Grenander 定理 ， 有 已 入 P 成 立 且 dPi/dP,(X?) 由 式 (6. 4.17) 给 出 。 如 果 能 证 明 P)<P, 
成 立 ， 就 完成 了 定理 的 整个 证 明 过 程 。 事 实 上 ， 在 Grenander 定理 中 互 换 Hy Al H, 的 定义 
后 ， 即 可 完成 Po<P, 的 证 明 。 

似 然 比 中 依赖 于 观测 值 的 一 项 为 














PENS yh +72) a Ta (6. 4. 23) 
k=1 
人 en 
由 于 X, = |. bi(OdX, ， 可 以 把 To 重新 写成 


2 
Ty = | | Qe waxdxX, (6. 4. 24) 


其 中 
A 


Apts 


oo 


QU) A 3 TE WOU), O<tu<T (6. 4. 25) 








进一步 假设 AX, =Y,de REE. HE Y, an ESIMERE, MABEKI Ta 变 为 
Te = | | Qe WY,Y, didu (6. 4. 26) 


它 是 Yo 的 二 次 型 。 因 此 ， 与 向 量 观测 值 的 例子 一 样 [ 见 式 (3. 2. 86)]， 在 加 性 白 噪声 中 检 
测 高 斯 信号 的 最 优 结构 仍然 是 观测 值 的 二 次 函数 。 
式 (6.4.25) 中 的 函数 Q 是 下 述 积分 方程 的 解 


oT. 
ken =| Qs YC sr) ds + PQ), o<tu< T (6. 4. 27) 
0 


与 之 对 应 ， 离 散 向 量 观 测 模型 中 二 次 统计 量 {y7Qy} 中 的 矩阵 8 满足 马 s 一 QZs 十 c2O， 其 中 
o 是 式 (3. 2. 85) 中 白 噪 声 的 方差 。 将 矩阵 方程 改写 为 
Eu = DO Bis te Qe 1 hel & (6. 4. 28) 


易 知 它 对 应 式 (6. 4. 27) 的 离散 形式 ; 这 再 次 说 明 在 加 性 白 噪声 中 检测 连续 波形 与 检测 信和 号 
向 量 类 似 。 
此 外 ， 式 (6. 4. 27) 是 基于 YY, 估计 S, 的 Wiener-Hopf 方程 (6. 3. 18) 的 连续 -时 间 形 式 。 特 


别 地 , T, 和 | QUOY RAER AA ELH] QC WAN, | 是 H 假设 下 9 S, 的 线性 最 





© 将 在 第 7 章 讨 论 该 估计 问题 。 


第 6 章 连续 时 间 信 号 检测 


小 均 方 误差 估计 。 因 此 ，To 可 视 为 相关 估计 器 ， 即 

Tg = | S.Y,dt (6. 4. 29) 
它 通过 对 观测 到 的 波形 和 信号 的 估计 值 进行 相关 处 理 来 检测 信号 。 注 意 ，S, AER 
计 ， 所 以 式 (6.4.29) 不 是 估计 器 的 首选 。 然 而 ， 后 续 部 分 将 会 讨论 ， 似 然 比 表达 示 
(6. 4. 17) 也 可 表示 为 





dP, oe 2 ie A 二 -| ; 
TAC exp (i , SX, — ap cS? dr) (6. 4. 30) 


式 中 ，S, 是 S, 的 因果 最 小 均 方 误差 估计 。 根 据 Cameron- Martin 公式 ， 用 随机 信号 {S,; 
0<t<T} 的 因果 估计 {S$,; OKT RRA S S OST), RE. 4. 30) 就 是 白 品 
声 中 检测 确 知 信 号 的 似 然 比 。 

只 有 在 一 些 特殊 情况 下 才能 计算 出 似 然 比 检测 的 误差 概率 ， 这 与 离散 时 间 问 题 类 似 。 
因此 ， 在 性 能 分 析 过 程 中 需要 利用 误差 上 界 、 下 界 或 近似 [参见 Mazo 和 Salz(1965)]。 二 
次 检测 器 的 性 能 有 时 也 用 所 谓 的 广义 信 骂 比 或 者 偏差 来 评估 ， 定 义 为 


[Ei{To(X0)}— Eo{To(X0)}] 
vary [ToG.Xé ) ] 


虽然 它 与 误差 概率 没有 直接 关系 ， 但 是 可 用 来 衡量 二 次 型 统计 量 是 否 能 有 效 区 分 两 种 假设 
[参见 Barton 和 Poor(1992) |. 

下 面 进一步 讨论 高 斯 噪声 中 检测 高 斯 信号 的 奇异 性 问题 。 检 测 确 定 信 号 时 ，Pu 和 P， 
要 么 等 价 ， 要 么 奇异 。 还 可 发 现 ， 在 和 白 噪 声 中 检测 均 方 连续 信号 时 ， 通 常 P, AP, 也 是 等 
价 的 。 在 这 些 检测 问题 中 ， 只 有 Po=P, KR Pol Pi 两 种 情况 并 非 偶然 。 特 别 是 当 Po 和 
Py 是 任意 的 两 个 高 斯 测量 时 ( 即 在 这 个 测量 下 观测 值 服 从 高 斯 分 布 )， 总 能 得 到 Po =P, 或 
者 P。| Pi， 而 没有 其 他 中 间 结 果 。 这 种 分 裂 性 最 早 由 Feldman(1958) 和 Hajek(1958) 发 
H, 与 之 相关 的 讨论 可 参考 Grenander(1981) 。 

利用 具有 有 理 谱 的 观察 过 程 能 够 很 好 地 揭示 高 斯 噪声 中 检测 高 斯 信号 的 奇异 性 。 连 续 
时 间 随 机 过 程 具 有 有 理 谱 是 指 其 自 协 方差 函数 可 表示 为 





(6. 4. 31) 





Eitan = + eB) dw (6. 4. 32) 
2m.) os 
其 中 函数 $8(w) 具 有 如 下 形式 
yee 
$(w) = oo < wW < co C6; 4. 339 
Sore” 


tH, a Mb 是 常数 。 与 该 过 程 有 关 的 奇异 性 结论 可 参考 Slepian (1958)、 Feldman 
(1960) 和 其 他 文献 。 在 A 和 H, 假设 下 ， 高 斯 过 fe Yo 的 有 理 谱 Me Ay Hl Eb Al 加， 那么 
当 且 仅 当 下 式 成 立时 ， P =P; 成 立 





O “证明 式 (6. 4. 30) 的 有 效 性 需要 重新 理解 已 定义 的 积分 |，S.dX,, 将 在 6.4. 3 节 中 讨论 。 
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lim[$ Cw) /#.Cw) ] = 1 | (6. 4. 34) 
举例 来 说 ， 假 设 有 观测 模型 
HoiY, = N:s 0<t<T 
Buy, =S,+N,, OXI T 
其 中 ，{S,; OSTAN, ONT) BA IA HIN $s 和 $y 的 独立 高 斯 信号 。 此 时 ， 
A$. =n Mpi = pn tps, Po 和 Pi 等 价 的 充 要 条 件 为 
lim$s Cw) /$n Cw) = 0 (6. 4. 36) 
对 式 (6. 4. 36) 的 直观 解释 Fie: 式 (6. 4. 35) 所 描述 的 假设 检验 问题 非 奇 异 要 求 信号 比 噪声 变 
ie. MAS, fa SBC CURT Be MT AE Ay eR. fa SE Ae ERE ER os Cw) /$y (w) 一 
CO) 导致 奇 异 。 不 过 ， 在 信号 和 噪声 的 谱 形状 相同 时 (0< lim $5 Cw) /by Cw) <o), ALAA 
限时 间 区 间 的 观测 数据 ， 仍 能 可 靠 检测 出 信号 ， 即 Pol Pi. 
Shepp(1966) 给 出 了 高 斯 二 分 法 的 另 一 个 例子 ， 并 讨论 了 维 纳 测量 的 等 价 性 和 奇异 性 。 
就 信号 检测 而 言 ， 假 设 检验 问题 为 
Hy +X, = Wis OL tL T 


(6. 4. 35) 


HiX, = | SdutW,, 0<t<T 
RP, (Wes OKTET, (Ss OLTEK ELS), PIANC, wW 
高 斯 信号 。 根 据 Shepp 的 结论 ， 当 且 仅 当 | ELS, pede < oo A || Coes dedu < om a 
P)=P; 成 立 ; 否则 ，P, | Pr. Ñ P=P 时 ， 似 然 比 为 


oo 


poan- [A efkan] 





其 中 

gC a |.E{S,}dx, = 5 [Ces } Fae + tf | Qcsaoax'dX， 
Q fest (6. 4. 27) 的 解 。 显 然 ， 上 式 在 Cs=0 时 简化 为 Cameron- Martin A, Æ E{S,}=0 
本 


界 时 有 | E(S,}de < co 成 立 ，Shepp 所 给 出 的 结论 是 之 前 所 讨论 的 高 斯 白 噪 声 中 检测 信 
号 的 推广 。 
6.4.3 ”随机 信号 似 然 比 检测 的 估计 -相关 器 表示 
在 上 一 节 中 ， 针 对 假设 检验 问题 
Ha: X; = Wis 0o<t<T 
< 


1 (6. 4. 37) 
Hi:X, =W, + | Sdu, (tS T 


其 中 {W,; OKSTE EARE E, (S OSST) E y E E R A E G R 
据 命题 6. 4.4， 似 然 比 为 
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dP No/2 sa 
log Pian) = Slog Mele ee + 5 bye ds /Ct + No/2) (6. 4. 38) 
=1 





RH, R a | CDdX, Cac) 和 {pr} 是 信号 自 协 方差 函数 的 特征 值 和 特征 函数 。 对 于 
式 (6. 4. 37) 而 言 [ 见 式 (6. 4. 30)]，dP,/dP, 同样 能 表示 成 
T (XT = =|, $ dX, — |, Gore (6. 4. 39) 


sth, Â, 是 H 假设 下 S, 的 最 小 均 方 误差 估计 。 接 下 来 证 明 式 (6. 4. 39) 成 立 并 将 其 推广 
到 非 高 斯 信号 情况 。 为 简化 起 见 ， 令 T=N,/2=1., 

在 推导 式 (6. 4. 39) 之 前 ， 有 必要 深入 理解 这 个 公式 。 对 每 个 时 间 t 而 言 ， 佑 计 值 {S$,; 
OKI EMRE X, 的 函数 ， 也 是 一 个 随机 过 程 。 虽 然 已 经 定义 了 形 如 | hdX, 的 积分 形 
式 ， 但 是 要 求 被 积 函 数 h, 是 确 知 的 。 因 此 ， 为 了 推出 式 (6.4. 39)， 有 必要 给 出 被 积 函数 
是 随机 过 程 时 的 积分 定义 ， 即 | S,dX, 的 具体 含意 。 


实际 上 ， 有 很 多 种 方法 可 用 来 定义 | dX, ， 但 是 它们 并 不 等 价 。 为 了 说 明定 义 一 


随机 过 程 积分 方法 的 难度 ， 考虑 定义 | Waw, 的 问题 ， 其 中 {W,; 0 过 :过 1) 是 单位 维 纳 过 
程 。 假 如 采用 常规 的 定义 ， 即 
| w.aw, 








— tim PW, CW — Wo ) (6. 4. 40) 
HP, OR HP <P << Sl, EP ELM, P], i51, es n BA = max |t? —2™ |。 
如 果 该 积分 存在 ， 即 对 于 任意 选择 的 4; 和， 极限 都 一 样 ， 即 ter 

E{| w.aw, }= lim JEW go Woy — Wn )} = lim 9) ce" — 1) (6.4.41 
显然 ， 式 (6. 4. 41) 最 右边 的 量 可 在 0~1 SIEM, BPA IL, dt 
选择 E. 例如， 对 于 ;一 1，…，n， 如 果 选 取 6 =, WTA E| | Waw, |= 0， 如 


RERE 一 如 ， 则 可 以 得 出 EL | Waw, | 一 1 。 因 此 ， 式 (6.4.40) 不 具有 所 期 望 的 


性 质 。 

定义 随机 积分 的 最 核心 问题 是 被 积 函 数 和 积分 函数 在 统计 上 可 能 不 独立 。 就 两 者 都 是 
相同 的 维 纳 过 程 而 言 ，Ww 与 增 量 (Wo 一 Ww ) 的 依赖 程度 与 $$” 在 间隔 Lt to JPR 
位 置 密切 相关 。 因 此 ， 相 比 确 定 函 数 的 积分 而 言 ， 两 个 随机 过 程 的 积分 需要 更 加 明确 的 定 
义 。 特 别 地 ， 应 该 明确 和 ”在 Li ，ti”] 中 的 具体 位 置 。 虽 然 在 选择 &” 时 或 多 或 少 会 根 
据 约 定 进行 ， 且 每 种 方法 都 存在 这 样 或 那样 的 不 足 ; 但 是 ， 最 常用 的 方式 是 选取 e = 
ti 。 它 在 描述 信号 检测 和 估计 公式 时 特别 有 用 ， 这 也 正 是 采取 这 种 方法 的 原因 。 为 此 ， 
随机 过 程 {Y,; 0<t<T} 关 于 随机 过 程 {X,; OST WR ERA 


T (m. s. ) 
| Y.ax, = jim a DY hye — Xm) (6. 4. 42) 
0 
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其 中 ww ALA, 与 前 面 一 样 。 对 任意 划分 ， 式 (6.4.42) 以 概率 1 有 唯一 极限 时 ， 积 分 
| vax, 才 存 在 。 


式 (6. 4. 42) 中 的 积分 通常 称 为 Ito 随机 积分 ， 推 广 其 定义 后 ， 可 扩展 可 积 随机 过 程 的 
类 型 [参见 Wong 和 hajek(1985)]。 不 过 ， 式 (6.4.42) 的 定义 对 所 涉及 的 应 用 而 言 已 经 足 
够 。 事 实 上 ， 根 据 定 义 ， 增 量 dX, 对 应 “前 向 增 量 ”， 即 dX,=X.44—X,°. 


式 (6.4.42) 所 定义 的 随机 积分 具有 普通 积分 的 线性 性 质 ， 即 对 标量 w 和 8 有 | Cay, 并 


有 7,]dX, = a| YdX, 十 B| ZidX, 。 然而 ，Ito 随机 积分 不 满足 普通 微 积分 的 所 有 规则 


命题 6.4.5 lto 修正 项 
假设 {W,; 0 委 坪 1) 是 单位 维 纳 过 程 ， 定 义 随 机 过 程 {X,; 0 过 1 过 1) 为 


X, = Xo + | bdw,, 0<t<1 (6. 4. 43) 
0 


4 
其 中 多 是 在 [0，1] 区 间 上 的 平方 可 积 函 数 且 X, 是 随机 变量 。 积分 | X.dX, 存在 且 可 表 
E aX. = Fox — xp —F/ gd (6. 4. 44) 
5 t t 2 1 0 2 u u . ® 


证 明 对 于 [0，1] 上 的 一 个 划分 雪 ，…， 如 ， 利 用 a(6 一 a)= 二 (6 一 a?)/2 一 (6 一 a)?/2 
后 ， 可 得 出 


ai nl n-i ni 
Ņ Xo (Xo — Xw» ) = Ly, ae eR ae Sig = X os 7 
— i H+1 i 2 S 2 a a 2 A a R t 


2 
$dW. ) (6. 4. 45) 


(n) 


n—1 是 服从 N (0,| gidu) 分 布 的 独立 随机 变量 。 因 此 ， 


- 


Y= [$dW, ,i=0, 1, ~ 
对 随机 变量 序列 


nl 


z=5{ gaw), n= pp (6. 4. 46) 


i= 


可 得 E(Z,} = Sfi gidu = [du ， 并 且 

i=0% fi 

E{(z,—| #du) }= var(Z,) = Fvar (fi saw.) | (6. 4. 47) 

9 i=0 fi 
如 果 X~N O, o), Mj var(X?)=20°, At 
E| (Z, — | #du) }= a gaa 28, 5 [bdu = 28, | #du 
i=0 94 imot h 9 

其 中 


日 ”随机 积分 的 另 一 种 定义 是 Stratonovich 随机 积分 ， 它 把 dX, 解释 为 后 向 增 量 (人 "一 此 ) 。 这 个 积分 性 质 与 
lto 积分 稍 有 不 同 。 两 种 定义 各 有 优 缺 点 。 
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8, A max |" $idu (6. 4. 48) 
结合 式 (6. 4. 45) ~ 50 (6. 4. 48) ， 得 到 


nl 1 
N Xe Xa — Xo) = LOE XOD —F] gdu te, 
i=0 0 


其 中 E(e2)<26,. A,>0 意味 着 6, 一 0。 这 样 ， 当 A 一 0 时 ，》)Xiw (Xm 一 Xo ) 均 方 收 
敛 ， 并 且 它 的 极限 由 式 (6. 4. 44) 给 出 。 "D 


需要 注意 的 是 : 式 (6. 4. 44) 和 从 普通 微 积 分 得 到 的 相关 表达 式 存 在 差异 。 特 别 地 ， 如 
果 是 L0，1] 上 有 和 界 变 分 的 连续 函数 ， 可 得 到 更 一 般 的 表达 式 ， 即 


1 
| Rap = H- (6. 4. 49) 
式 (6.4.44) 中 的 “修正 项 ”涉及 了 有 关 {X,; 0 二 1 二 1}) 的 二 阶 变 分 ， 即 
1 aI 1 
| aX = lim D Xi, — X09? = | sede (6. 4. 50) 
a A id ° 


对 于 一 个 有 界 变 分 的 连续 函数 ， 因 为 (df,)” 一 (dt)”， 所 以 二 阶 变 分 为 零 。 然 而 ， 对 于 形 如 
式 (6. 4.43) 的 随机 过 程 ，(dX,)’ RES ode 一 样 。 在 第 7 章 中 还 会 进一步 讨论 该 问题 。 
同时 ,命题 6. 4. 5 包含 了 所 需要 证 明 的 随机 积分 的 性 质 。 

现在 继续 讨论 式 (6. 4. 38) 中 的 似 然 比 。 注 意 ， 在 命题 6. 2. 1 中 ，Radon-Nikodym 导数 
dPi1/dP。 利用 其 对 Po 的 积分 来 定义 。 因 此 ， 要 证 明 式 (6.4. 39) 就 是 似 然 比 的 表达 式 ， 就 
仅 需 证 明 式 (6. 4. 38) 和 式 (6. 4. 39) 以 概率 1 等 于 P,。 这 也 意味 着 它们 以 概率 1 等 于 P, 
因为 PiP. . 


ERR, 由 R, = | (DdX, 给 定 ， 而 且 在 Po 下 {X,; 0<1<<1) 是 维 纳 过 程 。 应 用 命 
题 6.4. 5 后， 有 
$= ef [coax Jal f coax, }+ f oa 
= 2f' [| wddx. p Dax, + | goa (6. 4.51) 


因为 df y Daw, = (dW, , JU Po 的 概率 为 1。 根据 Mercer 定理 和 0< 


a/a HDKA A YW/AtCD IPOs, w 一 致 收 化 。 结 合式 (6.4.51) 后 ， 有 
k=1 








dP, 加 = f j af 
log Ẹp XÐ = dy log[1/0 +, 714 a Qs dX, |dX, + Lf QD dt 
(6. 4. 52) 
与 式 (6. 4. 22) 类 似 ，Q 定义 为 
= 
= ’ <tyu<l 
Q(t,u) 2 T+ tO O0<t,u 


在 6.3 节 中 ，Q 满足 积分 方程 
(ERG ETD) = | QVC ds + Qt), 0<tu<l (6. 4. 53) 
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在 第 7 章 中 ， 将 证 明 该 式 是 根据 5, 一 | Q6.wdX, 和 | S.do+W..0 之 wu 过 1 估计 5S, 的 
Wiener- Hopf 方程 。 函 数 Q 通 常 可 视 为 C, 的 Fredholm 分 解 。 一 般 而 言 ，S, 是 信和 号 的 非 
因果 估计 。 从 |S,dv 十 W。，0<u<1 中 得 到 的 S, 的 最 小 均 方 误差 因果 估计 量 为 


A 


8, = | hd Zrel (6. 4. 54) 
0 
Hp h FEAR Wiener- Hopf 方程 的 解 ， 即 
CD = [ha DC ss ds + hw), okul PI (6. 4. 55) 
0 


可 以 证 明 ， 上 述 方程 有 唯一 连续 解 。 与 第 5 章 中 的 Wiener- Kolmogorov 方程 类 似 ， 虽 然 仅 对 
Q 进行 简 单 的 截断 操作 不 能 得 到 及 ， 但 是 ， 按 照 下 式 可 从 h 中 获得 Q( 具 体 推 导 留 作 练习 ) 


1 
Qu) = hru) HAUD — | AOAC wds, 人 ET GAs 
0 


Ha, Ayla, M Alr, y)=0, 
将 式 (6. 4. 56) 代 入 式 (6. 4. 52)， 可 得 


= 1ft 1 t 1 
log EXD = 2 log[1/G TAO 十 | [haw adx.ax, — | [| (f hs Dh(sswds| dX, |ax, 
dP, = oJ0 oLJo Jo 


1 Era 
+f hadda f f K Case dsd (6. 4.57) 
0 2 0J O 


考虑 式 (6.4.57) 右 边 的 中 间 项 ， 交 换 积分 顺序 ， 并 利用 >s ACs, 2) 50, 根据 命 
题 6. 4.5， 有 


| J, [| hw ax, Ja DaX, |ds = | [| cdx, fas- ZI {2 (sew) duds 


(6. 4. 58) 
结合 式 (6. 4. 54) 、 式 (6. 4.57) FER (6. 4. 58) ， 可 得 到 


1 1 °° 
log Sax 一 | SdX 一 去 | LS Pat [face — log tay] 6.4.59 
J i g A=1 


dQ) a TL aa + D 也 称 为 C; 的 Fredholm 行列 式 ， 而 且 可 以 表示 为 [参见 Kailath 
(1969) | > 
lead GD = fhad (6. 4. 60) 
其 中 hh 是 下 述 方程 的 解 


1 
C; (tsu) = | Altas YC Cs ds HA halts), OS t<l (6. 4. 61) 
0 


将 4==1 代入 式 (6. 4. 61)， 可 得 到 [| a rat = | hd 并 且 式 (6. 4. 59) 的 似 然 
比 为 





O 将 在 第 7 章 中 详细 推导 。 
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SEXY) = = | Sdx, 一 去 | 8, Pa (6. 4. 62) 
式 (6. 4. 62) 的 似 然 比 很 有 趣 ， 用 估计 信号 {$,; 0 过 :过 1} 代 圭 已 知 信号 后 ， 在 白 噪声 
中 检测 高 斯 信号 {S,; 0 三 1 过 1} 的 似 然 比 和 在 白 噪声 中 检测 已 知 信和 号 的 似 然 比 完全 一 样 。 
上 述 推导 过 程 在 解释 原因 方面 还 不 够 直观 ， 下 面 结合 高 斯 信号 的 新 息 定理 来 进一步 说 明 。 
命题 6. 4. 6 高 斯 过 程 的 新 息 定理 
在 Hi 假设 下 ， 观 测 模型 为 





log 


T 
X, = | SdutW,, o<:<1 (6. 4. 63) 

0 
其 中 {Ss。; 0 二 u 寺 1) 是 独立 于 {W,; 0 全 1 人 1} 的 均 方 连续 高 斯 信号 。 可 以 将 观测 模型 等 价 为 
X, = [' S det 0<t<l (6. 4. 64) 

0 


Ree, (L; Ot ESM, BAY 1 宇 t 宇 ; 宇 0, L—I, 独立 于 {(X 0< 
us}. 





证 明 REE, GRA I = Ww, Hf cs, $du 。 因 为 {S,; 0 过 {之 1} 和 {W,; 0< 


1 壹 1} 都 是 零 均值 高 斯 过 程 ， 且 零 均 值 高 斯 过 程 {$,; OK<) 人 十 Wi 的 线性 变换 ， 所 
以 {1,; 0 过 1 过 1} 也 是 零 均值 高 斯 过 程 。 为 了 证 明 {1,; 0 二 1} 是 维 纳 过 程 ， 仅 需要 证 明 
E(LI,}=min{żt, R. 

考虑 到 E{C,—1,)° 对 于 所 有 1S0 成 立 ， 可 得 


EUI, — 1,)?}= EKW, —W,)?} +2) E(W, =W ts, 一 和 ja 


二 ffe re, — ÄIS, À dudo (6. 4. 65) 
因为 {W,; 0<¢t<1IS EAE, Hr AR C6. 4. 65) A AET as) SiR 
式 (6.4.65) 第 二 项 积分 中 的 期 望 ， 可 表示 为 

E{(W, —W,)(S, — §,)}= E{(W, —W,) (S, — §,)} + E(CW, — W,) (Sa — §,)} 

= E{(W, —W,)}E{(S, — §,)} + E{ (W, —W,) (Sa — §,)} 

= E((W, —W,)(S, — §,)} (6. 4. 66) 
第 二 个 等 式 成 立 的 原因 是 S$, R Si 和 Wi 有关 ， 而 S$ 和 Ws MCW, —W,) A ee 
第 三 个 等 式 成 立 是 因为 E{W, 一 W,) 一 E{S, 一 S$,} 二 0。 注 意 , 式 (6.4.65) 右 边 的 第 三 项 中 
的 被 积 函 数 关于 (u，v) 对 称 ， 综 上 所 述 ， 可 写成 


六 一 上 让 = G8 +2| Ef (cs, — 8) (w.—w,+|"(S,—8,>de) Jd 








= Gs) $2), pecs, — BIC, — Lj da (6. 4. 67) 


则 有 | 
ECS. —§) Ud, —1)} = 
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进而 对 所 有 的 1 之 上 之:* 过 0 都 有 Ed, I =s 成立 。 





LAKAI) (h TE h S A A 








E(LI,)= 5[E(L, nI HEL — 94) Ey, — LJ) 





= [rts i=l] = mini CLs 


FA. (L; Ot 1} Sb AEN TE 
H TEM A 1S0, MESIO IAF X ， 需 要 注意 ， 对 lSrs>0, A 


E((L—1)X,) = E(w, = WJX} +fE(sS, IN ide = 0 


这 里 利用 了 W, 一 W; 独立 于 X, 并 且 对 于 所 的 ;三 v 过 1 都 有 S, 一 S$, 与 X, 正 交 这 一 事实 。 
因此 ， 对 于 所 有 的 u<s, LL AX, 正 交 。 又 因为 它们 都 是 高 斯 过 程 ， 所 以 (1 一 I) 和 
X; 相互 独立 。 口 

命题 6.4. 6 中 定义 的 过 程 {I,; 0 三 t+ 过 1) 通 常 称 为 {X,; 0 二 1 过 1) 的 新 息 过 程 。 在 每 个 
时 刻 ， 和 在 第 5 章 中 讨论 的 离散 -时 间 相 似 ， 它 表示 观测 值 中 不 能 由 过 去 预测 的 部 分 。 为 
了 更 好 地 说 明 新 息 过 程 的 性 质 ， 将 观测 值 在 (it，t 十 dt) 内 的 变化 表示 成 


trde ~、 
evar = Ay =| S,du + Cita FR) 








由 于 h(t，w) 连 续 ， 过 程 {S$,; 0 过 1 过 1} 的 采样 路 径 也 连续 。 在 do 时 ， 可 得 出 
Xaa — X, ~ §,dt+ Una + I) (6. 4. 68) 


显然 ， 观 测 值 在 (1:，i 十 dz) 的 变化 由 依赖 过 去 Xs AY) BY S, de 分 量 和 完全 独立 于 过 去 的 新 
ANE Ioa I, AR. 

利用 新 息 后 ， 可 更 为 简洁 地 推导 出 式 (6. 4. 39) 中 的 估计 器 -相关 器 结构 。 特 别 地 ， 假 
设 对 所 有 的 0 过 tz 过 1， 利 用 t 之 前 的 观察 数据 得 到 的 似 然 比 为 L, (X38)， 即 L,(X3) 只 与 X; 
相关 。 对 1/dt 是 整数 的 每 个 d> 而 言 ， 可 将 似 然 比 写成 


1/dt 


logL,(X}) = >) [logLia(X}) — logLo va (XI)] (6. 4. 69) 


k=1 


这 里 , 已 经 从 logL,(Xi) 中 加 上 和 减 去 了 完全 相同 的 项 。 现 在 ， 对 于 无 穷 小 的 dt， 过 去 的 
观测 值 X 和 当前 观测 值 XH 可 视 为 对 随机 过 程 {Y,; 1 过 ui 十 dz) 进 行 取样 。 根 据 
式 (6. 4. 68)， 该 随机 过 程 可 表示 为 


Hy :¥, = Wa = Ws tL u< t+ dt 
M (6. 4. 70) 
oe en txu<tt+dt 
一 方面 ， LEY AE XA S; S, GA; 另 一 方面 ， 在 WE 出 Ey Witu W, 和 Pie mh 是 


相同 的 维 纳 过 程 。 因 此 ， 在 获得 当前 观测 XO 后 ， 似 然 比 的 增 量 可 由 已 知 白 噪声 中 信和 号 
的 Cameron- Martin 公式 给 出 ， 即 


ede) a ttdt ~ 省 x 
logLera (XD 一 logL (XD ~ | S$.dx, 一 去 | (8)? du = $, Xua — X,) — DS) dt 


(6. 4. 71) 
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将 上 式 代 入 式 (6. 4. 69) ， 可 以 得 到 
l/dr 1 1 
logL (Xi) ~ [Sina = Kana) = + Seo 三] el §,dX, = y (§,)? de 
(6. 4. 72) 
以 上 推导 过 程 可 用 于 解释 估计 -相关 器 的 似 然 比 计算 式 的 有 效 性 ， 且 清晰 地 展示 了 在 
似 然 比 计算 式 中 出 现 了 Ito 积分 项 的 原因 。 特 别 地 ， 因 为 $, 连续 ， 也 可 将 近似 表达 
式 (6. 4. 68) 替 代为 

Xa — X, ~ S, di Faa = (6. 4. 73) 


其 中 to 是 位 于 上 与 (十 di) 之 间 的 任意 数 。 不 过 ， 仅 当选 择 mw = 上 时 ，$。 才 完全 依赖 于 X, 

HRG. 4. TAA. HERE 一 :后 ,| SAX, 可 理解 为 | SCXns 一 X,) ， 即 Tto 积分 。 
下 面 给 出 估计 -相关 器 的 似 然 比 表达 式 的 更 为 严格 的 证 明 过 程 。 虽 然 新 息 过 程 1 A 

X| Sdu, OKI 具有 维 纳 统计 特性 是 采用 估计 -相关 器 结构 的 根本 原因 ， 但 是 在 不 


考虑 S. 具有 连续 性 和 {1, 一 1,; stl EMF Xi 的 维 纳 过 程 时 ， 估 计 - 相 关 器 的 推导 过 
程 也 同样 有 效 。 事 实 上 ， 新 息 的 性 质 不 仅 适 用 于 高 斯 信号 模型 ， 在 比 高 斯 模型 更 广泛 的 信 
号 模型 中 也 是 有 效 的 。 

特别 地 ， 考 虑 到 假设 检验 问题 


H,:X, = W,, 关中 医 二 
i (6. 4. 74) 
H,:X, =| S.dutW,, Zigi 
0 
这 里 ，{S,; 0 过 tz 过 1} 表 示 信 号 过 程 (未 必 是 高 斯 过 程 )， 满 足 条 件 
1 
E{| |S, [de < ~) (6. 4. 75a) 
0 
和 
1 
| Stat<oo, pe I (6. 4. 75b) 
0 


{W,; ORK} FEM ETE, MRED SE LO, 1]. HEW, —W,; s<t<1} A XS. Wi} 4 
互 独立 。 如 果 信 号 独立 于 噪声 ， 后 一 个 条 件 可 以 自动 满足 。 在 这 些 假设 下 ， 新 息 可 表示 为 

i, AX—| 和 du (6. 4. 76) 
H pS, AE (S, | Xp); 0 过 :过 1 是 单位 维 纳 过 程 ， 且 对 每 个 EL0，1] 而 言 ， 前 向 增 量 {1, 一 
IL; s 志 过 1} 和 Xi; 相互 独立 。 此 外 ， 上 述 假设 可 确保 PiP WL, HAS 
dP, me Ea f Ga y2 
THD = i 8 dx, Kee dt (6. 4.77) 
注意 ， 并 没有 假设 信号 和 噪声 在 H, 下 相互 独立 ， 而 仅 要 求 噪 声 的 前 向 增 量 与 信号 相互 独 
立 。 因 此 ， 该 模型 可 用 于 S, 依赖 于 过 去 观测 值 X, 的 情形 。 例 如 ，S, 可 能 由 观测 值 通过 某 





log 





OQ “这 需要 利用 Ito 关于 Lebesgue Stieltjes( 而 非 Riemann- Stieltjes) 积分 的 定义 ， 并 在 定义 中 将 均 方 收敛 松弛 为 
ARERR WCE. FE Wong 和 Hajek(1985) 中 对 此 有 详细 讨论 。 
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种 反馈 机 制 产生 。 

正 是 因为 新 息 过 程 具 有 维 纳 统计 特性 ， 式 (6. 4.77) 才 得 以 成 立 。 与 拥有 独立 的 信和 号 和 
噪声 的 高 斯 情况 的 证 明 (命题 6. 4.6) 过 程 类 似 ， 在 式 (6.4.74) 的 假设 下 ， 可 证 明 ，{l; 
0 过 :过 1}) 满 足 

E{L—1|X;} =0, 0<s<t<1 (6. 4. 78a) 
H 
E((I,—1,)?|X3} =t—s, 0<s<it<i (6. 4. 78b) 


一 方面 ， 维 纳 过 程 以 概率 1 可 进行 连续 采样 ， 另 一 方面 ， 条 件 式 (6. 4 75a) 能 保证 | Sdu 


和 | Sdu 也 以 概率 1 具有 连续 采样 路 径 。 所 以 ,新 息 过 程 (W, 十 | S,du 一 | S,du) 以 概率 1 


具有 连续 采样 路 径 。 称 满足 式 (6. 4.78a) 的 随机 过 程 {(X;; 0 二 ;全 1) 为 闭 过 程 。 显 然 ， 对 每 
个 sEL0，1]， 满足 式 (6. 4. 78b) 的 任意 连续 闭 过 程 是 增 量 {1, 一 1; s 达 1 过 1) 独立 于 XS 的 
维 纳 过 程 。 据 此 ， 同 样 能 得 到 新 息 过 程 的 表达 式 ” 。 
在 H, BREF. E (S |X,) 是 给 定 X; 后 S, 的 条 件 均值 估计 ， 与 高 斯 例子 相同 ， 
式 (6.4.77) 的 似 然 比 表 达 式 也 可 解释 为 估计 -相关 器 。 此 外 ， 式 (6.4.77) 对 信号 的 约束 更 
弱 ， 是 白 品 声 下 检测 信号 的 似 然 比 的 更 一 般 表 示 。 很 多 研究 者 基于 该 表达 式 ， 在 对 信和 号 施 
加 不 同 的 约束 条 件 后 ， 得 到 了 不 同 的 估计 -相关 器 结构 ， 包 括 Duncan(1968, 1970), Kailath 
(1969，1971) 和 Stratonovich 及 Sosulin(1965) 。Stratonovich 和 Sosulin 采用 了 Stratonovich 随 
机 积分 定义 推广 了 式 (6. 4. 77) ，Schweppe(1965) 推 导 检 测 了 高 斯 信号 的 似 然 比 。 
作为 例子 ， 引 用 Kailath 在 1969 年 发 表 的 研究 成 果 ， 它 可 用 来 推导 除 白 噪声 过 程 之 外 
的 似 然 比 。 例 如 ， 假 设 有 一 对 假设 
Ho:Y, = N,> Os EE | 
Hi:Y,= N,+S,, 0<t<l 
H, (No; 0t 过 1} 是 具有 如 下 形式 的 噪声 过 程 
N= Nr+Ni:, OXSt<l (6. 4. 80) 
Hp, (NP; 0St<1} A A, WRAL NG; O<t<1) ERG. 4.75). SIA TR 
i H:Y, =N}, 0 三 t 人 之 1， 并 用 与 该 假设 相关 的 概率 P 作为 中 间 量 ， 可 得 到 似 然 比 
dPi/dP。 的 计算 式 为 


(6. 4. 79) 


Puss o be i ae 
exp|| (8, + Nbax, — 4] (S$ +N ar) 
dP: cyi) = Picy y ds 0 2. Jo 


1 = 
dP, dP dP CA 











1 ag 1 A 2 
exp] | (N°) dX, — 去 | CAN)? de} 
0 0 
(6. 4. 81) 


Seth, NaBN |X‘), §,=E,{S,1X4}, X= | Ydu, 0<t<1, 


OQ AREKAK Levy- Doob 定理 [参见 Doob(1953)]。 事 实 上 ， 估 计 - 相 关 器 的 有 效 性 也 表明 新 息 具 有 维 纳 性 
质 。 这 是 Girsanov 定理 的 一 个 特例 [参见 Girsanov(1960) 和 Lipster(1977)]。 因 此 ， 本 质 上 ， 估 计 - 相 关 器 和 
新 息 的 性 质 等 价 。 
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最 后 需要 明确 : 检测 非 高 斯 信号 的 估计 器 -相关 器 结构 应 更 多 地 理解 为 似 然 比 的 表达 
形式 。 这 是 因为 依据 {$,; OKKH dP,/dP, 通常 非常 困难 。 换 名 话说， 在 估计 -相关 
器 结构 中 求解 估计 量 的 难度 不 低 于 检测 。 不 过 ， 对 于 高 斯 情况 ， 通 过 Karhunen- Loéve 展 
开 可 相对 容易 地 计算 出 估计 量 S 。 在 接 下 来 的 章节 中 ,会 继续 讨论 连续 时 间 信 号 的 估计 


问题 。 


6.5 习题 


1. 考虑 检测 问题 
Hy 有 = Ns 
H;:Y,=N,+@,, 0<t<1 

HP, (N :0 过 tT} 是 一 个 零 均 值 、 均 方 连续 

的 高 斯 过 程 ， 并 且 {s,; 0 二 :过 T) 是 一 个 未 知 信 

号 。 参 数 9 以 等 概率 等 于 十 1 和 一 1 并 且 与 品 

声 独立 。 试 求 似 然 比 和 ROC 的 表达 式 。 

2. 考虑 如 下 假设 对 

Ho:Y, = Nit+k]J.+ Esin(wt), O<t<T 

H, :Y, = N,+kJ,+E,cos(at), 0<t<T 

HF, E Mla 是 已 知 的 正 数 ; T=2x/ans {N,， 

0<t<7} 是 一 个 频谱 高 度 为 N,/2 的 零 均值 白 高 

斯 过 程 ; {J,，0 达 tT} 是 一 个 与 {N,,， 0St<T) 

独立 的 零 均 值 高 斯 随机 过 程 ， 自 协 方差 函数 为 

Cy lts) = coslen |t—s|), O<ts<T 
假设 Hy 和 H, 是 等 可 能 的 。 

(a) RRB RR 是 已 知 的 ， 推 导出 最 小 误差 概 
率 检测 器 并 得 出 相应 的 概率 或 者 误差 。 

Cb) 假如 一 个 检测 器 在 二 0 下 与 (a) 相 同 ， 但 
FES R= ko > 0, RH k= k > 0 时 利用 
k= 0 检测 器 推出 的 误差 概率 。 

3. 考虑 假设 检验 问题 
Hs= N; OSIL T 


M-1 


Hi:Y,= N, 十 dJaip(t—iT.)cos(at+@), 
i=0 


0<t<l 


O&S T 
Hp, (N 0ST) ÆA A R a E E, 
频谱 高 度 为 No/2; 序列 aos ayy os ami fe— 
个 已 知 信号 序列 ; 相位 8 和 噪声 独立 并 且 均 匀 
分 布 在 L0，2x] 上 ;函数 pOH 
Ll; Cre Te 


(t) = 
á 其 他 


假设 T. 是 正弦 函数 的 整数 个 周期 有 T= 二 mT.。 

(a) 求 出 Ho 和 Ay 之 间 的 检验 似 然 比 ， 画 出 接 
收 结构 的 框图 。 

Cb) 求 出 虚 警 概率 a 的 门限 值 。 


. 证 明 式 (6. 2.19) 的 正确 性 (已 知 这 个 结果 为 勒 贝 


格 分 解 ) 。 
. 考虑 假设 检验 问题 
Ho Y; = Wis StS T 


Hi:Y, = pt+W,, os a 
HPW, OK< T) E — Fb E E a) E h l 
程 。 求 出 似 然 比 。 


. 考虑 检测 问题 
Ho:Y, = N,, 0O< re 1 
H,:Y,=N,+#, 0<t<l 


HPN, OSST) He — FS Hy 1A HT A Lat 
程 ， 自 协 方差 函数 为 
2, O<t<xu<l 
Cyn tu) = 
W, OCSusi<l 


证 明 P, =P, 并 求 出 dP,/dP。 


- 考虑 检测 问题 


HY = Nis lead Fd 
Hi:¥,=N,+m, 0<t<T 
Hp, m 是 一 个 正 的 常数 ，{N, 0< <T) B 
零 均 值 和 高 斯 的 。 
(a) 假设 Cyl, wW=Nel ol, 0t, u<T, 
其 中 xc>0 是 固定 的 。 证明 


log oe (yf) 


= In| Yo +Yr =m +a (Y: -mjel 


(b) 假设 
N= |t—u]|), |t-ul <1 
Cy(t.n) = 
0, |t—u|>1 
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» y T 
假设 T<1,， 证明 Cb) 假设 |. 地 dt 一 | 号 dt 一 了 之 0， 简 述 由 (a) 
dP, N Mo = ° 
log Gp, (Ys) Men tY m) 


AHM [re EA 
9. 考虑 在 高 斯 白 噪声 情况 下 的 模型 (6. 3. 1) 。 求 出 
在 约束 条 件 max{ | [83Jd,| Ls Pde} < PF 


8. 考虑 式 (6. 3. 47) 中 的 模型 。 假 设 基于 信号 模型 
ity =| sudu ，0 过 1 过 设计 一 个 尼 曼 -皮尔 逊 检 


测 器 ， 但 是 实际 信号 由 | du ，0 委 去 了 给 出 ， 的 最 优 信号 ， 其 中 Po. 
其 中 {xr。; OSKUST) EAER o 10. 计算 在 式 (6.4.24) 最 优 检测 统计 下 的 式 (6. 4. 31) 
(a) 求 出 在 实际 信号 情况 下 所 设计 检测 器 的 Pe 的 偏差 率 。 


和 Po. 11. 证 明 式 (6. 4. 56) 的 有 效 性 。 


第 / 章 
连续 时 间 信 号 估计 


7.1 引言 


第 6 章 讨 论 了 时 域 连续 信号 的 检测 问题 ， 在 这 一 章 中 将 继续 讨论 时 域 连续 信号 的 估 
计 问 题 。 本 章 主要 解决 以 下 三 个 基本 问题 : (1) 确定 信号 参数 估计 : 在 加 性 高 斯 白 噪声 
下 估计 波形 已 知 或 部 分 参数 未 知 的 确定 信号 的 参数 ; (2) 线 性 /高 斯 估计 : 假设 信号 和 品 
声 均 为 高 斯 过 程 ， 或 者 仅 考虑 线性 估计 器 的 情况 ; (3) 非 线性 滤波 : 在 加 性 高 斯 白 噪声 
中 ， 估 计 由 非 线性 微分 方程 产生 的 非 高 斯 随机 信和 号。 根据 第 6 章 的 证 明 ， 其 他 高 斯 噪声 
模型 都 可 以 转化 为 白 噪声 模型 ， 因 此 本 章 主要 考虑 高 斯 白 噪声 的 情况 ， 相 应 的 结论 也 具 
有 一 般 性 。 


7.2 信号 参数 估计 


首先 考虑 含 噪声 情况 下 连续 信号 的 参数 估计 问题 。 类 似 于 离散 信号 ， 观 测 模型 如 下 
Y,=s (M+N,, 0<St<T (7. 2. 1) 
其 中 波形 {5,(0); 0 过 tT) 与 9 的 函数 关系 式 已 知 ，{N,; 0 三 T} 是 功率 谱 幅 度 为 No/2 
的 高 斯 白 噪 声 。 对 Y, 求 积分 可 得 


X, = | s. Odu + Wi, oe? (7. 2.2) 


其 中 {W,; 0 过 tT} 表 示 相 应 的 维 纳 过 程 。 

为 使 用 与 第 4 章 相 同 的 方法 来 估计 式 (7. 2. 2) 中 的 9， 首先 需 在 观测 空间 CT， 中 指定 
概率 密度 族 { ps; 90E A)}， 而 为 了 获得 这 一 概率 密度 族 ， 进 一 步 要 求 存 在 某 个 测度 jy 使 得 在 
概率 密度 族 {P,; OC A)} 上 的 其 他 测度 绝对 连续 。 由 例 6.3.1 可 知 ， 如 果 s, C9) 在 L0，Tj 是 
平方 可 积 的 ， 不 存在 信号 时 (X, 二 W,，0 达 :过 TT) 的 概率 测度 ( 称 之 为 维 纳 测度 ) 能 确保 Po 
绝对 连续 。 假 设 该 测度 由 y 表示 ， 则 密度 Ps 二 dPs/ dy 为 式 (6. 3. 65) 所 描述 的 似 然 比 ， 即 


bt RY 一 exp | a s (dX, -4 TOLT (7. 2.3) 


假设 对 于 每 一 个 OEA，{s 0); 0 过: 志 TT} 都 平方 可 积 ， 则 式 (7. 2. 3) 给 出 了 XT 的 一 个 概率 
密度 族 。 

在 得 到 集合 {ps; 9EA} 后 ， 就 可 以 使 用 第 4 章 的 方法 来 估计 9 的 值 。 如 果 在 随机 变量 
9 中 ， ys 那么 根据 后 验 概率 密度 函数 可 得 到 贝 叶 斯 估计 为 
pa Xl) wl0) 
,PoC Xo) db 


类 似 地 ， 其 他 非 贝 叶 斯 方法 ， 如 最 小 方差 无 偏 估计 和 最 大 似 然 估 计 ， 均 可 直接 应 用 到 模型 


w(O|Xj) = (7. 2. 4) 
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{ pe; GEA} EE. 

为 了 详细 讨论 模型 (7. 2. 2) 下 最 大 似 然 估 计 的 渐 近 特性 ， 假 设 参数 集 人 是 R 上 的 一 
开放 区 间 ， 并 且 像 离散 信号 一 样 可 扩展 至 参数 向 量 的 形式 。 

首先 ， 这 一 模型 的 Fisher 信息 可 由 下 式 给 出 : 


ha Es {| Zlogps Xt) | |= E, {|= ary" TOTS FI .3 dr] ] | 


es aE [| sax, soan = En{[ | sicoaw, | | = nal Esi 0) T dt 


. (7. 2. 5) 
上 式 中 ， 在 第 三 个 等 式 中 用 s, =s, 0/30 表示 对 0 求 偏 微分 且 假 设 其 能 够 移 到 积分 括 
号 里 面 ， 第 四 个 等 式 中 使 用 了 式 (7.2.2)， 最 后 一 个 等 式 的 推导 使 用 了 命题 6.4. 1。 
式 (7. 2.5) 除 以 工 的 比值 可 用 来 表示 Xe 产生 的 关于 9 的 信息 的 快慢 ， 假 设 在 Tco 时 该 比 
值 趋 于 一 个 非 零 的 有 限 值 i ， 即 对 所 有 OC A 有 下 式 成 立 


O<ig A lim a7], "Tat (0) }?dt < co (7.2. 6) 


该 假设 意味 着 通过 观测 值得 到 参数 信息 的 过 程 是 渐 近 线性 的 。 注 意 ,在 4. 3 节 中 处 理 的 独 
立 同 分 布 离散 问题 中 ， 通 过 观测 值 获得 参数 信息 的 过 程 是 严格 线性 的 ， 这 是 因为 基于 
Yio, YW I, 具有 nis 的 形式 。 

具有 如 (7. 2. 3) 形 式 的 密度 族 的 似 然 比方 程 为 





T T 
SI ef sax -if oa] =0 (7.2.7) 
ovo ovo = ĝm (Xo 
再 次 假设 上 式 中 的 偏 微分 可 移 到 积分 里 面 ， 则 上 式 等 价 于 
Ja CKo) | oH xT 一 0 (7. 2. 8) 
其 中 
TT a 于 | OLAX, — stide] (7.2.9) 


ERP sO 的 含义 同 前 ， 且 为 了 简便 除 以 了 2T/N.. HO 表示 真实 参数 并 联合 
式 (7. 2. alee 步 得 到 


[x= an 5 (@){dW, + [s,() = s, (8) ]de) 


= af" DAW, + E| SiD Es CO) — CO) Jee (7. 2.10) 
根据 命题 6. 4. 1， 上 式 右边 的 第 一 部 分 服从 NC(0，J/T*) 分 布 ， 其 中 Ty 根据 式 (7.2.5) 计 


算 。 由 于 IL/T>is 二 2， 第 一 部 分 的 方差 在 T-~c=e 时 趋向 于 零 ， 因 此 当 Tce 时 ， 这 一 部 
分 均 方 意义 上 ( 依 概率 ) 收 剑 。 假 设 式 (7. 2. 10) 中 第 二 部 分 收敛 ， 则 在 Po, 下 有 


过 
其 中 函数 J(9; 9,) 在 9 一 % 处 存在 一 个 根 。 该 渐 近 形式 与 离散 信号 下 的 情况 类 似 : 如 果 


JO; 0) 在 0=0, 处 存在 唯一 解 ， 便 可 认为 bw(X?) 在 一 定 条 件 下 收敛 至 准确 值 。 因 此 ， 类 
似 于 命题 4. 4. 3， 有 下 面 的 命题 成 立 。 





lim ar s COs (A) — s,(0) Jdt a J 0:0) (7.2511) 
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命题 7.2.1 一 致 性 

假设 参数 ARM, HIG: 0,) 在 9 二 0。 处 有 一 个 孤立 解 ， 即 函数 J(0; EO RK 
RES, 并且 在 0 的 领域 内 ， 却 数 J (XE) 都 是 0 的 连续 函数 。 这 样 ， 在 T>, 
Jo(Xi3) 二 0 便 有 一 组 解 序列 依 概 率 收敛 到 0,。 

注意 ”该 命题 的 证 明 过 程 与 命题 4. 4. 3 类 似 ， 留 作 课 后 练习 。 命 题 7. 2. 1 的 一 个 推论 
Æ: 如 果 对 每 一 个 工 ， 函 数 J,(XI) 都 有 唯一 的 根 ， 则 这 个 根 序列 是 一 致 的 。 

接 下 来 讨论 似 然 比方 程 解 的 渐 近 正 态 性 。 事 实 上 ， 与 4.4.4 类 似 ， 可 证 明 似 然 方程 的 
解 具 有 渐 近 正 态 性 。 

命题 7.2.2 渐 近 正 态 性 

假设 {0 (XI); TO AZRE JXD =0 的 一 致 解 序 列 ， 进 一 步 假设 O's, (9)/30: 和 
0's,(0)/00 HELE T 宇 0 和 0E€A 时 一 至 有 界 ， 则 有 

VTLO-CXI) — o] NCO,1/in) 

HPO 是 参数 的 真实 值 ，is 由 式 (7. 2.6) 定 义 。 

注意 ”该 命题 说 明 在 相同 情况 下 ， 模 型 (7. 2. 2) 中 的 最 大 似 然 估计 值 和 离散 情况 类 似 ， 
均 是 渐 近 有 效 的 。 

以 上 渐 近 特性 的 证 明 中 ,假设 T->ce 上 且 0 一 2 二 co， 下 面 考虑 更 加 一 般 的 情况 。 设 五 
没有 上 限 ( 上 面 的 分 析 中 假设 五 一 25T， 因 此 是 一 种 特例 ) ， 除 去 假设 <i <o BH MHL 
方程 (7. 2. 9) 


| S CO)[dX, — s,(@) de] 








= (7, 2. 12) 
i Lsi) F dt o= By, (XD 
类 似 于 式 (7. 2. 10) 中 的 展开 方式 ， 式 (7. 2. 12) 的 左边 可 写 为 
T A 
| oaw， | SODES 0) — s]a 
‘ 4 do Kis 2s, 13) 








T 了 T 1 
| Ls.C0) F de | Ls.(0) |’ dt 
0 0 


显然 式 (7. 2.13) 的 第 一 项 服从 NMN(0，17/7TD) 分 布 ， 当 五 ce 时 这 部 分 均 方 收敛 于 零 ， 进 而 
可 得 出 在 上 述 假设 条 件 下 ， 解 的 渐 近 有 效 性 可 表示 为 关于 的 函数 ， 即 


到 ee — s,(6) ]dt 
ae i 
和 命题 7. 2. 1 的 结论 一 样 ， 在 对 了 进行 适当 假设 后 ， 随 着 Loo, BWA TE RRA 
致 性 。 

而 当 五 一 cc 时 ， 证 明 似 然 方 程 连续 解 的 渐 近 正 态 性 可 采用 类 似 于 命题 7. 2. 2 的 方法 。 
特别 地 ， 在 与 命题 7. 2. 2 相同 的 正则 条 件 下 ，I 一 ce 时 ， 似 然 方程 的 任意 连续 一 致 解 依 概 
率 满 足 


lim 





ja JT (030) (7. 2.14) 


DECT) — o] > N 0,1) (7. 2. 15) 


HERE Too, N0 和 | COT deco PERDRE Ip, ABT FBR A 
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地 增加 。 除 了 T~c== 之 外 ,考虑 Nu 一 0( 其 他 参数 固定 ) 可 用 于 分 析 估 计 器 在 高 信 品 比 下 的 
性 能 。 此 外 ， 虽 然 似 然 方程 的 解 并 不 依赖 于 Ne， 但 是 只 要 其 他 参数 不 变 ， 随 着 NO, 
就 可 以 得 到 固定 的 估计 值 ， 其 分 布 随 No 变化 ,下面 结合 具体 例子 来 说 明 。 

到 达 时 间 估 计 

在 许多 应 用 中 ， 需 要 确定 已 知 波形 信号 到 达 接 收 器 的 具体 时 间 。 最 典型 的 应 用 是 雷达 
WE: 通过 发 射 一 个 已 知 形式 的 信号 ， 经 过 目标 反射 后 被 天 线 所 接收 ， 由 返回 信号 的 到 达 
时 间 便 可 以 算出 信号 来 回 的 传播 时 间 ， 也 就 可 以 推算 出 目标 与 雷达 的 距离 。 

估计 到 达 时 间 的 参数 化 信号 模型 如 下 

30 =sG-O, CLS T C7: 2. 16) 

这 里 信号 波形 {5(1); 1€ R}) 已 知 且 在 10 时 为 零 ，0 宇 0 是 信号 的 到 达 时 间 。 该 信号 的 
Fisher 信息 是 


pa ZI [s’(¢—@) Pde (7.2.17) 


其 中 S(O =ds(O/de, BORLA | Ls" 一 0) 了 di < oo ， 此 时 渐 近 信息 率 i 就 等 
于 零 ， 因 此 不 能 直接 使 用 T->co 下 的 渐 近 计 算 来 得 到 最 大 似 然 估计 。 但 是 在 高 信 噪 比 下 ， 
可 借助 一 0 得 到 到 达 时 间 的 渐 近 估计 值 

在 mw, 一 0 时 ， 似 然 方程 的 一 致 解 具有 渐 近 方差 i, E Tooth i 


l= |, OPd = sd (7. 2. 18) 
其 中 SCo) 是 (的 傅 里 叶 变 换 ( 第 二 个 等 式 基 于 帕 斯 瓦 尔 能 量 定理 ) 。 渐 近 误 差 的 方差 为 
var, (ô) ~ es | (7. 2.19) 


See E, a| eoa | 1S(o)|*dw/2x 为 信和 号 能 量 ，B 为 信号 带宽 的 均 方 根 ， 定 义 如 下 


BA [f o * | Sw) | dw/ l. | Sw) |? do] (7. 2. 20) 


通过 增 大 信 噪 比 2E,/NN。 或 信号 带宽 ， 可 以 提高 到 达 时 间 的 估计 精度 。 增 大 信号 带宽 改善 
到 达 时 间 的 估计 精度 是 非常 直观 的 ， 因 为 带宽 的 增加 将 会 使 得 信号 边缘 变 得 更 加 “陡峭 ”， 
利于 估计 精度 的 提高 。 

最 后 考虑 对 数 似 然 函 数 的 情况 ， 其 信号 形式 可 表达 为 


logpiC XI) = 总 fsa OD dX, 二 | 8) de (7. 2. 21) 
假设 信号 持续 时 间 DKT Ho 在 区 间 [0，T 一 Dj 中 ， 此 时 等 式 右边 的 第 二 项 与 变量 0 无 关 ， 
因此 最 大 似 然 估计 即 为 使 得 | s(: 一 0)dX, 最 大 的 9 值 。 从 应 用 的 角度 出 发 ， 最 大 似 然 估计 





方法 需 计算 每 个 0 对 应 的 | s(1 一 0)Y,dX, (Y, 可 视 为 由 X, 派生 的 信号 ) 并 选择 输出 峰值 时 
刻 所 对 应 N O 作为 其 估计 值 。 最 大 似 然 估计 的 计算 过 程 看 似 繁 瑛 ， 但 由 于 Y, 是 时 间 有 限 
信和 号, | s(t 一 0)Y,dX, 实际 上 是 脉冲 响应 (2)= 二 s( 一 四 的 线性 时 不 变 滤波 器 在 9 时 刻 的 输 
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出 ， 因 此 将 Y, 通过 滤波 器 (2) 便 可 以 简单 地 计算 出 9 的 最 大 似 然 估计 。 


7.3 线性 /高 斯 估计 


7.3.1 自 噪 声 中 的 信号 估计 问题 
下 面 讨 论 在 加 性 独立 高 斯 白 品 声 下 的 均 方 连续 高 斯 信号 估计 问题 。 信 和 号 模型 如 下 
.=S4N, oie T (7.3.1) 
KH, (S, (STS ERA ER ATARAK C,(1，w) 的 零 均值 高 斯 信号 ，{NN,; 0<t<T} 
是 功率 谱 幅 度 为 N,/2 的 高 斯 白 噪声 (与 信号 相互 独立 )。 类 似 于 前 面 的 做 法 ， 首先 对 
{Y,; 0 过 tT) 积分 得 到 下 面 模型 
X, = | Sdu +w, 0<i<T (7. 3. 2) 
其 中 {W,; OKSTE EAE. 

对 于 LO0，T 本 中 的 任意 固定 值 :， 面 临 的 主要 问题 是 如 何 利 用 观测 值 XX; 二 {X,; ON u<s} 
获得 S, 在 最 小 均 方 误差 (MMSE) 意 义 上 的 最 优 估 计量 。 为 了 得 到 最 优 估 计量 ， 首 先 考 虑 在 指 
we Xi 下 得 到 S, 的 最 优 线性 估计 量 ， 然 后 再 证 明 它 是 全 局 最 优 的 。 

为 获得 最 优 的 线性 估计 值 ， 选 定 上 EL0， 太 并 考虑 如 下 线性 估计 


人 | cwax, (7. 3. 3) 
0 


JEP ACG, Vi v HERRA MHS. 3 节 的 相关 内 容 ， 最 佳 线性 估计 值 的 充 要 条 件 是 佑 
HiR#S, —S, 与 观测 值 正 交 ， 即 

E{(8,— SX.) =0, Of aes (7. 3. 4) 
代入 式 (7. 3. 2) 和 式 (7. 3. 3) ， 则 式 (7. 3. OW BH 


E(w, | he,v)aw, \+ E{| Sida| nC,waw,) 
+ E(w.| hwS,do)+ E{{"S,dq] hi,ws,do) 
0 0 0 


=-E(SW.} 十 E{S| S,dq}. bees (7.3.5) 
由 于 信号 和 噪声 相互 独立 ， 且 根据 命题 6. 4. 1 中 的 性 质 6) ， 式 (7. 3. 5) 可 以 写 为 9 
Nol acewdde +t | | he, oC, wgdvdg = [Cea da, ladr aD 
0 0J0 0 


在 式 (7. 3. 6) 两 边 同 时 对 求 偏 导 ， 可 以 得 到 如 下 结论 : 当 且 仅 当 有 满足 式 (7. 3.7) 时 ， 由 
式 (7. 3.3) 给 出 的 $, 是 最 佳 估 计 


了 十 | ADC. wudo = Cliu) OA was (7. 3. 7) 
0 


一 旦 给 定 t， 式 (7. 3.7) 是 第 二 类 Fredholm 积分 方程 。 可 以 证 明 ， 如 果 假 设 C 为 连续 函 
数 ， 那 么 式 (7. 3.7) 存 在 关于 参数 u 连续 的 唯一 解 h(t, .ww)[ 详 细 参 见 Lovitt(1950) 关 于 





日 ”积分 与 期 望 的 顺序 可 以 互 换 。 
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Fredholm 方程 的 讨论 ]。 l 

至 此 ， 已 经 证 明 : 给 定 X; 后 , h 满足 式 (7. 3.7, RCO. 3.3) 中 的 $, 是 MMSE 线性 
估计 。 注 意 ， 式 (7. 3.7) 是 连续 时 间 Wiener-Hopf 方程 ， 并 且 此 前 已 经 讨论 了 它 在 高 斯 白 
噪声 下 检测 信号 的 两 个 特例 : s= sT., 

下 面 将 证 明 在 给 定 XS F. S, 不 仅 是 S, 的 最 佳 线性 估计 量 ， 也 是 S, 所 有 可 能 估计 的 
最 优 值 。 注 意 ， 一 般 意义 上 的 估计 器 可 视 为 随机 变量 的 集合 ， 这 些 随 机 变量 是 XS 的 函数 
且 二 阶 和 矩 有 限 。 将 所 有 可 能 的 估计 值 用 98 来 表示 后 ， 正 交 性 原理 非常 直观 。 

命题 7.3. 1 正 交 性 

E{(Y —S,)*} = minE{(Z— S,)’)} C7..3. 8) 


ZEG 
对 所 有 ZEG;， 当 且 仅 当下 面 的 条 件 满足 时 式 (7. 3. 8) 成 立 
E{(Y—S,)Z}=0 (7. 3. 9) 
RY, 和 Ys 对 所 有 的 ZEG 均 满足 式 (7. 3.9)， 则 YI 和 Ys 以 概率 1 相等 。 

根据 第 4 HHT. Y=E{S, |X ÆR. 3. 8) 的 解 ， 因 此 正 交 条 件 (7. 3. 9) 就 是 在 指 
定 X; 下 ，S, 的 条 件 均值 所 需 满足 的 特性 。 

就 式 (7. 3. 3) 中 的 $, 而 言 ，$, 一 S, 与 X; 不 相关 ， 且 由 于 (S, 一 S,) 与 Xi 服从 联合 高 斯 
分 布 ( 因 为 (S$, 一 S,) 是 高 斯 变量 (S,，X;) 的 线性 组 合 )， 故 (S$, 一 S,) 独 立 于 X;， 这 意味 着 对 
ZEG 有 

E{(§, — $,)Z} = E{(§, — S,)}E{Z} 
由 于 E(S,}=E(S,}=0 时 式 (7. 3.9) 成 立 ， 所 以 ， 在 高 斯 模型 下 的 线性 估计 量 也 是 全 局 最 
优 估计 值 。 

但 是 应 当 注 意 ， 在 证 明 过 程 中 并 没有 限定 高 斯 假设 ， 该 模型 仅 需 满 足 如 下 条 件 : 
E(W,W,}=(N,/2)min{t, u}, cov(S,, S,)=C,(t, u), cov(S,W,)=0, E{S,}=E{W,}=0, 
OKu, tT. FS Re ae. Sore ee Eas. 207.3. 3) 均 为 最 优 
的 线性 估计 量 。 

只 要 信和 号 与 噪声 服从 联合 高 斯 分 布 ， 就 可 以 证 明 线性 估计 量 的 全 局 最 优 性 。 而 在 此 条 
件 下 ， 上 述 所 有 的 结果 都 可 以 直接 扩展 到 信号 和 噪声 相关 的 情况 。 类 似 地 ， 在 噪声 由 均 方 
连续 随机 变量 和 白 高 斯 两 个 部 分 构成 时 ， 上 述 结论 也 成 立 。 

7.3.2 线性 新 息 过 程 

观测 模型 为 


ae | Ss.du +w., 0<i<TI (7. 3. 10) 
其 中 对 所 有 O<t, u<z, (RIP WA RI: E(W,W,)=min{t, u), CO, RH 
E{S,} = 二 E{W,) 二 0。 则 对 于 任意 的 +E [0，T]， 如 果 设 $, 为 观测 数据 X; 下 S 的 最 佳 线 性 
估计 量 [ 即 在 s=t 和 No/2 二 1 下 的 式 (7. 3.3)]。 根 据 6.4 节 中 的 结论 ， 以 下 过 程 的 均值 
L=X,—| S,du, 0<t<T (7.3.11) 
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AMF 0 二 wu 二 tz 过 TT 的 协 方差 Ci(t， u)=min{t, us 和 工 一 工 不 依赖 于 Xi。 此 外 ， 如 
果 式 (7. 3. 10) 是 高 斯 过 程 ， 那 么 IT 同样 也 是 高 斯 的 ( 维 纳 过程 )， 且 工 一 和 XI; 独立 。 为 
了 与 已 定义 的 新 息 过 程 {X, 一 | E{S, | X;)du ，0 达 1 过 T} 相 区 分 , 称 1 为 线性 新 息 过 程 ， 
这 两 个 过 程 在 高 斯 情况 下 一 致 。 

由 于 I 中 含有 白 噪声 的 协 方差 ， 获 得 线性 新 息 的 过 程 在 本 质 上 等 价 于 对 X7 进行 线性 
白化 操作 ， 并 且 不 同 于 6. 4 节 讨 论 的 预 白 化 处 理 ，I7 是 由 XT 因果 产生 的 。 然 而 ， 由 于 不 
能 证 明 XP 可 由 17 推导 获得 ， 因 此 不 能 确定 线性 新 息 过 程 是 否 在 任何 情况 下 均等 价 于 最 初 
的 观测 结果 。 接 下 来 ， 重 点 推导 线性 新 息 过 程 与 原始 观测 的 等 价 性 。 

已 知 X? 与 17 的 联系 如 下 式 所 示 


x=14] Sdn grer (7.3.12) 
0 


如 果 可 以 通过 某 种 方法 由 Ts 得 到 $,， 则 XT 就 可 以 通过 式 (7. 3. 12) 构 造 出 来 。 例 如 ， 假 设 
对 于 任意 的 :E[0，T]， 用 S, 来 表示 给 定 1 F S, 的 MMSE 线性 估计 值 后 ， 如 果 $, 二 5, 
成 立 ， 则 Xo 就 可 以 计算 出 来 。 

利用 正 交 性 原理 和 I 的 定义 ，S, 可 表示 为 


S,= | atadh, ice? (7. 3.13) 
其 中 函数 g 定义 为 


g(t,u) = CGO 一 | Crh) do, 0<t<T Chai 14) 
0 


hu, VÆRS, 的 冲 激 响 应 | EDS, 一 | husw)dX, | 。 FAX. f’ Sido 代替 1。， 得 到 如 
下 表达 


T | gC dx, 一 | gw Š du | gdx, — [gw | huodX,du 
0 0 0 0 0 
= [ecewdx, — | | gwh u,v dudX, 
0 0J v 


= f (esu) — [eroh wudo |dX, (7.3.15) 
0 u 


上 式 中 第 三 个 等 式 交换 了 u 和 w 的 积分 顺序 ， 第 四 个 等 式 中 改变 了 第 二 个 积分 中 的 积分 变 
量 。 将 式 (7. 3.14) 代 入 式 (7. 3.15) 中 ， 整 理 得 到 


$= | faswax, (7. 3. 16) 
0 
其 中 
fia) AC aw —| QC do (7. 3.17) 
0 


Q. Curv) A huro) th — | haswhCarv)da, OXuwgt 318) 
7 0 
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hlz, WHE t>r>y>0 时 等 于 零 。 
函数 Q,(x，z) 是 和 C, Cu, v), OXNu, vt 有 关 的 预 解 ( 或 者 称 为 Fredhom 预 解 ) 。 第 
6 章 已 经 证 明 ，Q, 是 如 下 积分 方程 的 解 


Clase = [2.x aC, Cayo)da +Q usv), OS ay 
Q, 等 价 为 以 下 积分 方程 的 预 解 函数 


sa) = | ceoozcodo+zco， O<uct (7.3.19) 
因为 该 方程 的 唯一 连续 解 为 
xu) = yW — | Quv yodu, O<uc<t (7. 3. 20) 
0 


根据 式 (7. 3.17)、 式 (7. 3. 18) 和 式 (7. 3. 20) ， 可 以 证 明 FC, WIRE 
Coa = [Cw fa,wdo+ faw, O<uxt 
0 . 


ESRD WOR AR A(t, wu) ft) Wiener-Hopf fy #849 s=t, No /2=1 时 的 式 (7. 3.7) 相 同 ]。 已 知 
式 (7. 3.7) 具 有 唯一 解 ， 可 得 fa, w=hCt, u), ONu<t HA 


S, = | ac dx, = = 

FE, WEA TS, 完全 由 1h 决 定 ， 进 而 Xs 也 能 由 1; 重 构 。 更 准确 地 说 ， 线 性 新 息 过 程 IT 
可 由 XS 的 线性 因果 变换 得 到 ， 且 根据 逆 变 换 可 由 XT 得 到 7。 该 变换 对 可 以 写 为 

r = | [一 | hc wav aX., o<2<T (7. 3. 21) 
以 及 

和 一 | [it] acuwavlal., 0 过; 云 工 (7. 3. 22) 
Eph Allg 在 式 (7. 3. 14) 中 已 定义 。 因 此 天 和 XI 是 一 对 等 价 观测 量 ， 进 一 步 地 ， 基 于 
Ti 或 Xi 得 到 的 最 佳 线 性 估计 量具 有 一 致 性 。 


线性 新 息 过 程 的 上 述 特性 可 以 直接 扩展 到 向 量 信号 形式 。 特 别 地 ， 假 设 n 维 观测 向 量 
可 由 下 式 给 出 


X, 一 | Sdu +W., 6Lr<T (7. 3. 23) 
0 


其 中 {S,; 0 过 :过 T} 是 具有 连续 自 协 方差 的 零 均 值 向 量 信号 ?>， 其 协 方差 为 
Cltyu) A ESS}, 0Sud=T 
Ws; 0 过 tT) 是 零 均 值 向 量 过 程 ， 自 协 方差 矩阵 为 
E{WW'} = Imin{t,u}, O<u,t<T 
Hp I fin Xn 的 单位 和 矩阵。 值得 注意 的 是 : 向 量 W: 由 一 组 不 相关 的 随机 过 程 组 成 ， 这 些 
随机 过 程 的 自 协 方差 均 为 min{t, u) WEW 是 高 斯 的 ， 那么 它 就 是 向 量 维 纳 过程 ， 可 
理解 为 独立 高 斯 白 噪声 组 成 的 向 量 的 积分 。 


O 为 避免 混淆 ， 代 表 转 置 的 符号 “T” 用 “替代 。 
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对 区 间 [0，TJ 上 的 所 有 + 和 w ME, BB S. MW, 不 相关 ， 则 给 定 X; 下 S, 的 最 佳 线 
性 估计 由 下 式 给 出 


8 = [haw dX, (7. 3. 24) 
nX n 维和 矩阵 函数 h(t，w) 为 下 面 矩 阵 积 分 方程 的 解 : 
CG.) = | hese. Cv dot hau), ERER. (7. 3. 25) 
它 由 下 述 充 要 条 件 得 到 ， 即 
E(S,—§)X,}=0, 0<uci (7. 3. 26) 
其 中 0 是 nxXn WREE, IFA 
El (| .aw,) (| Baw.) }= [A.B ‘ae (7. 3. 27) 


其 中 ，A, 和 B, 是 由 平方 可 积 的 元 素 组 成 的 矩阵 函数 ， 且 Wi RA KITAR% I mint, u). 
类 似 于 单个 随机 变量 ， 新 息 过 程 


Lax-[ düs OSS T (7. 3. 28) 
0 
满足 如 下 条 件 
E{LI') =Imin{t,u}, OKu, <T (7. 3. 29) 
All 
E(d,—I,)X,'} =0, 0<u<s<t<T CT. 3:30) 


进一步 地 ，X4 可 表达 为 D 的 函数 ， 即 


y= ik [1+ | etuvo jan, 0<t 
0 0 


IN 
器 


(7. 3. 31) 
其 中 
g(t,u) = C(t,u) 一 | Ch uw)do, Kusi T 
0 


如 果 信 号 和 噪声 均 是 高 斯 分 布 ( 并 且 是 联合 高 斯 的 )， 则 式 (7. 3. 24) 中 的 $, 是 全 局 
MMSE 估计 量 ， 且 在 所 有 cos>0 下 ， 维 纳 过 程 向 量 五 含有 不 依赖 于 Xi; 的 增 量 LL. 
7.3.3 连续 时 间 Kalman-Bucy 滤波 器 

在 第 5 章 中 推导 了 Kalman-Bucy 滤波 器 的 时 域 表 达 时 ， 本 节 将 结合 信息 过 程 来 完成 
Kalman-Bucy 滤波 器 的 推导 。 

大 多 数 物 理 系统 在 连续 时 间 上 的 系统 特性 都 可 以 在 一 定时 间 区 间 内 表示 (例如 
Lo, TD, 任意 时 间 ce LO, TIX MA ARAS NE X, 可 通过 如 下 线性 微分 方程 得 到 

X, = AX: + BU OS t= T (7. 3. 32a) 
该 方程 由 随机 过 程 {U;; EL, TIE. HFEA t RANE X, Ben 维 的 ， 随 机 
过 程 向 量 U, im E, HH A, AB, 是 和 它们 相对 应 的 矩阵 。 





© 向 量 的 积分 h(t) dX， 可 简单 定义 为 随机 向 量 ， 这 个 随机 向 量 的 第 7 个 组 成 部 分 是 Df Cea : 
0 k=. 
其 中 hy deh 的 第 jk SICR IFA XO E X KR PCR. 
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含 噪声 的 线性 观测 模型 为 
Y,=CX,+N,, 0XSt<T (7. 3. 32b) 
这 里 观测 值 Y, 和 观测 噪声 N, 都 是 r 维 的 ，C, 是 :Xn 维 的 。 

给 定 状态 模型 和 观测 模型 后 ， 估 计 状 态 值 是 关键 ， 即 在 一 定时 间 内 (wu€E [0，s]) 通 过 
观测 值 Y, 估计 出 关 ,， 其 中 t=; 代表 信号 平滑 ， =s 代表 信和 号 滤波 ， 上 盖 * 代表 信号 预测 。 
与 第 5 章 以 及 本 章 前 一 部 分 描述 类 似 ， 无论 信号 与 噪声 是 否 服 从 高 斯 假设 ,一 旦 明确 其 相 
关 过 程 的 二 阶 统计 模型 后 ， 就 可 以 得 到 最 佳 线性 滤波 ， 而 且 这 些 估 计 值 是 全 局 最 优 解 。 下 
面 使 用 之 前 的 方法 进行 推导 。 

假设 状态 驱动 过 程 (也 称 为 过 程 噪 声 ){U,; OKT) ARN, | OST) WHE 
均值 不 相关 的 单位 白 噪 声 ， 即 


cov(U, U)=1,6(t—s), 0<t,s<T C7. 3.38.4) 
cov(N, ,N)=16C—s), O<tss<T (Ta 333b) 
cov(U,,N,)= 0, OSS T (7. 3. 33c) 


这 里 In 和 了 ,分别 是 mxXm Flr Xr KEMERE, OR SEM. DR, HFA WE t 关 ; 
WTA. sGÆs), REZAR APR] A CRA EARN; Æ t= s 时刻， 
它们 之 间 以 及 自身 关于 组 成 元 素 不 相关 。 同 时 假设 矩阵 函数 {4,; ONt<T}, {B 0t 
T} 和 {C,; ONt<T} (分 别称 为 状态 矩阵 、 输 入 和 矩阵 和 观测 矩阵 ) 是 关于 时 间 的 分 段 连续 
函数 。 

在 给 定 初始 状态 下 将 式 (7. 3. 31) 改 写 为 


= X, 十 | AX.dut f Bdy,, 0<i<T (7. 3. 34) 
0 0 
BEV, A [Uds 的 自 协 方差 为 C(t， 一 Lomin{1，) 。 对 观测 方程 求 积分 得 到 


Z af Y,du = | C,X,du+w, 0<t<T C7. 3.35) 
0 0 


其 中 W, 的 协 方差 矩阵 CC ，z) = 天 min{t，z) 。 在 状态 噪声 和 观测 噪声 都 是 白 噪 声 时 ， 模 
型 7. 3. 34 和 模型 7. 3. 35 可 简单 表达 为 
dX,= A,X,dt+ B,dV,, 0<t<T (7. 3. 36) 
All 
dZ,= C.X,dt+dW,, 0<t<T (7. 3. 37) 
为 了 建立 完整 的 统计 模型 ， 假 定 初始 状态 向 量 X” 是 均值 为 零 、 协 方差 矩阵 为 Po 的 随 
机 向 量 ， 且 与 噪声 过 程 Y 和 Ws 不 相关 。 
在 上 述 模 型 的 基础 上 ， 进 一 步 给 出 从 观测 值 如 中 推导 X, 的 递归 方法 。 首 先 ， 观 测 方程 
(7. 3. 35) 是 式 (7. 3. 23) 在 S. 一 CX, 时 的 一 个 特例 。 分 别 用 $, ALK, 来 表示 S, 和 成 在 观测 值 
Z 下 的 最 佳 线 性 估计 ， 显 然 有 S$, 三 C, 入 。 根 据 前 面 的 讨论 ， 可 直接 得 到 线性 新 息 过 程 如 下 


L =Z,- |C, Kau, 过 上 过 工 (7. 3. 38) 


该 新 息 过 程 与 {W,; 0 二 tT} 一 样 ， 它 的 增 量 I 一 I 与 过 去 的 观测 值 Z; 不 相关 。 更 重要 的 
是 ， 该 线性 新 息 过 程 和 用 来 进行 线性 估计 的 观测 值 等 价 ， 所 以 可 将 X, 写成 如 下 形式 
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$ = | eawar (7.3.3039 
其 中 g 是 矩阵 形式 的 冲 激 响 应 。 
求解 g 需要 利用 正 交 性 原理 ， 即 
E{(X,—%)L')=0, oui (7. 3. 40) 


合并 式 (7. 3. 39) 和 式 (7. 3. 40) 有 


E{X1',} = El (| gwar,)r.) 


该 式 等 价 为 
Gia = | gs wad, Gx nats 
对 上 式 求 微分 可 得 
gw = Cu (tu), itu (7.3.41) 
需要 指出 的 是 ， 式 (7. 3. 41) 是 不 依赖 状态 模型 (7. 3. 34) 的 通 解 。 注 意 
L= Fax, =< Jdo+W, (7. 3. 42) 


可 将 Cx (t, w) RIAN 
Coline à BIRT) = [Exa — $,)'}C,dv + E{X,W',} (7. 3. 43) 
0 


因为 站, AX, 和 Vo REREH, TA Wl 都 不 相关 ， 因 此 有 E{X,W') 二 0。 这 样 ， 结 
合式 (7. 3. 41) 和 式 (7. 3. 43) 可 得 到 
g(t,u) = E(X, (X, — Å, ) C, OZu<i<T (7. 3.44) 
根据 式 (7. 3.40 T RRR, 的 递归 计算 式 。 在 给 出 具体 的 递归 形式 之 前 ， 首 先 
将 g 进行 如 下 变换 
g(t.u) = E{(X,— X.) (X, — X,)'}C, + E(X,(X, — KX, C. 
根据 状态 方程 (7. 3. 30D 
X,—X, = [Ax.do+ | Boa, 
进一步 可 以 得 到 
giin) =| AGO -$ Cide +E] (| B.dV.) (一 名 7 JF EK, — KIC 
(7. 3. 45) 


根据 式 (7. 3. 44)， 可 知 式 (7. 3. 45) 右 边 第 一 部 分 就 是 [Avg Co do, 一 方面 ， 因 为 XX, 和 


名, 均 由 与 增 量 {V, 一 V。; wu<v<T) 无 关 的 Xo. Vi 和 W 线性 构成 : 另 一 方面 ，| Bav, 是 


增 量 的 线性 表示 ， 所 以 上 式 的 第 二 部 分 等 于 零 。 第 三 部 分 仅仅 和 wu 有 关 ， 记 为 K,。 这 样 
g(t，u) 可 表达 为 


g(t,u) = [Ag (odvt K,» Susi T (7. 3. 46) 
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进而 可 得 到 
X= | ecw, = | [cg wr deat, 十 | Kar = [Af econ di.do + | Kar, 
OJ u 0 0 0 0 


= fa. X.do+ | Kdl, (7. 3. 47) 

上 式 可 简单 表示 为 
dX, =A,X,+K,dI,, 0<t<T (7. 3. 48) 
其 中 ， 初 始 条 件 为 总 一 0。 

由 式 (7. 3. 48) 给 出 的 最 优 状 态 估计 器 与 式 (7. 3. 36) 的 动态 特性 相同 ， 即 具有 相同 的 状 
态 和 矩阵， 但 输入 矩阵 添加 了 天. 。 该 方程 由 统计 特性 与 白 噪 声 积分 后 相似 的 新 息 过 程 驱动 。 
因此 ， 描 述 状态 估计 器 的 方程 和 原始 的 状态 方程 相似 。 类 似 地 ， 在 离散 信号 形式 下 也 有 相 
同 的 结论 。 

根据 式 (7. 3. 48) 求 解 状 态 估 计量 六 ， 需 确定 增益 矩阵 K, 的 表达 式 。 根 据 定义 ， 有 
K,=E(X,(X,—X,)3C., HX, ThI 线性 表示 ， 所 以 它 和 估计 误差 (已 一 总 ) 是 不 相关 
的 。 因 此 ，K, 可 改写 为 

K, = E{ ($, — XD, — X,)'}C, = BC; (7.3.49) 
其 中 
P, A E{(X, =X) (xX, — Å,)') 
上 式 是 估计 误差 在 上 时 刻 的 协 方差 矩阵 。 因 此 ， 通 过 确定 已 便 可 以 得 到 增益 K, 的 具体 表达 式 。 

设 误差 过 程 e AX,—X,, HA DTH RBA CO, RER. WYER. 3. 34) 和 

(7.3.47), {a5 t€L0, TI We 
e = e +| Aedu+ | Bav, — | Kdl, 0<¢<T (7. 3. 50) 


其 中 e,= 二 X, 一 义 , 二 XX。。 在 该 式 基 础 上 可 以 推出 微分 方程 ， 进 而 可 以 得 到 P, AC.(t,，1)。 为 
便于 分 析 ， 首 先 假 设 e 三 0( 或 者 假设 P = 二 0， 两 者 等 价 )。 在 该 假设 下 ， 结合 
式 (7. 3.50)， 有 


P, A Elee)= | AE tee')du +E] (| Bav, — [Kar Je’ | 


= ['A.C.Cust)du + E| (| B.av, Je’ | (7.3.51) 
0 0 


其 中 ,利用 了 在 所 有 uco, IF e AIL, 正 交 的 性 质 。 再 次 利用 式 (7. 3. 50) 后 ， 可 以 进 一 
步 得 到 


P, =| | A.C.(u,vAdudo + [AcE (e, (| Bav 一 | K.dt.)'} du 
0J0 0 0 0 
+E|[ Bav, (| Aedo) J+E(| Bav, (| Bav, — | x.ar. )') 
=f | A.C. cusvAdudv+ [AE (e. (f' Bav.) jd 
0J 0 0 0 


+ [E(f Bav. jesjasdao+E((| Bav.) (f B.av.)'} 
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-E| (| Aedu + | Bav.) (| Kar) (7. 3.52) 
上 式 中 ， 第 二 个 等 式 是 将 第 一 个 等 式 中 包含 | Kdr 的 两 项 合并 得 到 。 
考虑 上 式 的 最 后 一 项 ， 利 用 式 (7. 3. 50) 可 得 


E{(| Avedu+| Bav.) ([ Kan.)')= | ( (e+ f Kan) ) (fear, ) j") 


= E| (f Kar) ( )(| x.ar )'} \= | KK du 


(7. 3. 53) 
这 里 第 二 个 等 式 利 用 了 e ATS 的 正 交 性 ， 第 三 个 等 式 利 用 了 Cilu, v)=L_min{u, v}, 而 
A. Ave He. Vi MW 获得， 所 以 它 在 所 有 5 二 zx 下 和 (V, 一 V,) 正 交 。 这 样 
式 (7. 3. 52) 右 边 的 第 二 项 可 写 为 


| 4E{e (e. ([ B.av.)'| )'}du = [AE fe. ({"B.av.) "du (7. 3. 54) 


类 似 地 ， 第 三 项 也 成 立 。 将 式 (7. 3.53) 和 式 (7.3.54) 代 入 式 (7.3.52) 中 ， 并 利用 CG Cu, v) = 
L,min{u, va. A 


P, = | [Acc oval dudv+ | ALE (e. ( (|"B.av.) ) Jdu 


0 
十 | E| (| Bav, Je’ Adot | BB! du 一 | KK. de. CEIST (7.3.55) 
对 式 (7. 3. 55) 两 边 进行 微分 ， 可 得 
P, =["A.C.G,0)A' dv 


+] AC. CusDA'du +AE [e (| B.dv,)'|+E{ (| B.av. Je’ \A + BB) — KK, 
=A, | [ CAsdot Ee (| Bav.)’} | 


+ [| A.C. cudu + El (| Bav, jes} Jat + Be — KK' 


=A,P',+ P,A’ + B,B', — KK,. Ch: 3.56) 
第 三 个 等 式 由 式 (7. 3. 51) 得 到 。 根 据 P, =P, MK, =P, RCO. 3. 56) 可 改写 为 
P,=A,P'+P,.A'+B,B—P.C'C,P,, 0<t<T (7. 3.57) 


ERE P, 的 微分 方程 。 根 据 之 前 的 假设 ,该 方程 的 初始 条 件 是 P, 二 0。 但是， 对 任意 的 初 
始 状态 协 方差 矩阵 Po 而 言 ， 式 (7. 3. 57) 同 样 适用 ， 具 体 推 导 过 程 留 作 练 习 。 
在 总 结 连 续 时 域 Kalman-Bucy 滤波 器 之 前 ， 先 对 两 个 假设 条 件 进行 部 分 修改 。 第 一 

是 将 条 件 式 (7. 3. 33a) 和 式 (7. 3. 33b) 放 宽 为 

cov(U,,U,) = Q8 t— s), 0XSt,s<T (7. 3. 58a) 
All 

covCN ,N,) =ROGU@—s), OXt.s<T (7. 3. 58b) 
MFHT ELO, T]. Q AR, 表示 对 应 时 刻 的 协 方差 矩阵 且 尺 ,>0。 在 假设 这 些 和 矩阵 函数 
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都 是 关于 上 的 分 段 连续 函数 之 后 ， 只 需 对 滤波 器 形式 进行 简单 修改 便 能 满足 上 式 。 特 别 
地 ， 类 似 第 3 章 中 的 分 析 ， 可 将 8, AIR, 写成 

Q =Q", R, = R’R:” 
HP, Q’ MRO EXE H R >., A U 表示 为 由 协 方差 为 6( 一 5) 的 白 噪 
ERI O” WÉR. N, 是 协 方差 为 1,6(1 一 s) 的 白 噪 声 的 Ri? W LAA R We, PL 
在 滤波 器 方程 中 只 需 用 BO BARB, P.CTR, | ERK... RCC, 替代 C,。 

第 二 个 关于 假设 的 修正 是 将 E{X.}=0 WEIK E(X) =m. AE ENRE T EU 
{ OST) AMY; OST OE, SAS 章 中 讨论 的 情况 类 似 ， 均值 非 零 情 况 下 的 
MMSE 线性 估计 只 需 对 零 均 值 情况 进行 简单 修正 即 可 。 在 Kalman-Bucy 模型 中 ， 非 零 均 
值 假 设 只 需 将 估计 方程 的 初始 条 件 改 成 总 一 mo 。 

作为 对 上 述 内 容 的 总 结 ， 以 命题 的 形式 给 出 连续 时 间 域 的 Kalman-Bucy 模型 及 其 最 优 
估计 量 。 

命题 7.3.2 连续 时 间 Kalman-Bucy 滤波 器 的 解 

RRX; ONT) Fe (Z; KIST) KAFRA 

dX, = A,X,dt + BdV,, 0<t<T (7. 3. 59a) 
dZ,= CX dt + dW,, O0x<t<T (7. 3. 59b) 





min{ż,s} 


其 中 ,初始 条 件 为 多， 对 于 所 有 0 过 1，s 过 T， A EAV,) =E(W,}=0, G0) = |" O.du s 


min{ r,s} 
Cr (ios) = | R, du ’ Cyw (t, s)=0, A,、 B,、 Cao Q. Fe R, 都 是 关于 上 的 分 段 连续 函数 ， 
0 


且 在 1€E[0,，T] 时 RO. H-FRRMBEH X, 的 均值 为 mo、 协 方差 为 Pu， 且 与 Vi 、 
Wi 不 相关 。 在 给 定 观测 数据 家 下 的 MMSE 线性 估计 为 
dX, =A,X,dt+K,dI,, X, =m (7. 3. 60) 
fee, di,=dZ,—C, X,dt, 2A 
K, = PER, (7. 3. 61) 
P, AE{(X,—X,) (X,—X,)'}X Riccati 微分 方程 ， 即 
P, = A,P, + P,A', + BQ,B', 一 PC'RTIC,P， (7. 3. 62) 
初始 条 件 为 Poo 
和 离散 情况 相似 ， 该 最 佳 滤波 器 可 由 
新 息 过 程 经 K, 倍增 益 后 驱动 原始 系统 得 
到 ， 或 者 由 观测 值 dZ, 经 K, 倍增 益 后 驱动 
状态 矩阵 为 {(4, 一 KC,)，0 达 :三 T} 的 系统 
得 到 。 将 dZ, 等 价 为 Y,dt 后 (Y, 是 白 噪声 
污染 下 的 观测 值 )， 7.3.1 给 出 了 
Kalman-Bucy 滤波 器 的 具体 实现 结构 。 在 
习题 中 涉及 了 更 多 关于 连续 时 间 域 
Kalman-Bucy 滤波 的 问题 ， 更 详细 的 讨论 图 7.3.1 连续 时 间 域 Kalman-Bucy 滤波 器 
可 以 参考 Van Trees(1968) 和 Kailath(1981) 的 著述 。 
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7.3.4 ”线性 /高 斯 问题 的 进一步 扩展 

与 5. 3 节 讨 论 的 离散 情形 一 样 ， 线 性 /高 斯 估计 可 适用 于 更 加 一 般 的 情况 。 为 便于 讨 
论 ， 假设 两 个 二 阶 随机 过 程 {(X,; cE R} 和 {Y,; 1:1€ R} 的 均值 为 零 ， 并 通过 在 时 间 间 隔 
La, 6] 内 的 某 些 观测 值 {Y,; ER KH X,. 

首先 ， 记 X, 的 所 有 线性 估计 构成 的 集合 Hs 为 


n 
Dae, 
i=l 


HP, GER, 4Ela, b], i=l, =, n 且 均 方 可 和 。 与 之 对 应 的 线性 MMSE 估计 可 表 
达 为 


minE {(Z— X,)?} (7. 3. 63) 
zem, 
正 交 性 是 入 为 最 佳 估计 值 的 充 要 条 件 ， 即 
E((X,—X,)Z}=0, ZE (7. 3. 64) 
该 式 等 价 于 
Ei ($, —-XDY,)=0, axso (7. 3.65) 


对 {Y,; a 二 tb} 线 性 滤波 后 可 构成 页 的 一 类 子 集 ， 即 


b 
fha, dY,de (7. 3. 66) 


b tb 
其 中 ,| [aCe @)Cy (era) deda < co (Cy 表示 {Y,; ER) 的 自 协 方差 函数 ) 。 利 用 


式 (7. 3. 65) 并 交换 均 方 极限 与 期 望 的 顺序 ， 可 知 当 且 仅 当 4h 满足 如 下 积分 方程 时 ， 由 
式 (7. 3. 66) 给 出 的 线性 估计 量 是 最 优 的 


b 
Cxy (t;s) = | alte Cy Ceysdde, axs<b C7 8: 67) 


其 中 ，Cxy 是 {X,; iER)} 和 {Y,; :ER} 的 互 协 方差 函数 。 

方程 (7. 3. 67) 是 式 (5. 3. 18) 中 Wiener-Hopf 方程 在 连续 时 间 域 的 表达 。 该 方程 是 第 一 
类 Fredholm 方程 ， 它 的 解 具 有 奇异 性 。 与 离散 域 不 同 ， 除 非 在 h(t，r) 中 允许 存在 奇异 
点 ， 否 则 式 (7. 3. 66) 仅 能 对 部 分 线性 MMSE 估计 问题 建 模 。 例 如 ， 估 计 值 可 能 不 仅 包 含 
{Y,; a 声 t 过 5b} 的 滤波 形式 ， 还 包含 对 {Y,; ath) URSA EA A. 

对 于 式 (7. 3. 66) 给 出 的 估计 量 是 否 可 以 包含 大 多 数 感 兴趣 的 解 ， 需 要 分 两 种 情况 进行 讨 
论 ， 第 一 种 是 观测 间隔 无 穷 大 (也 就 是 a 二 一 oo 或 者 6 一 十 co)， 第 二 种 是 {Y,; 1:€ R} 中 含有 与 
{X,; t€E R} 不 相关 的 白 品 声 。 

无 限 观 测 问 题 中 最 常见 的 是 连续 时 间 域 的 Wiener-Kolmogorov 问题 。 分 别 假设 {X,; +E R} 
和 {Y,; cE R} 是 独立 的 联合 广义 平稳 随机 变量 ( 即 Cxy 和 Cy 仅 是 参数 的 差 的 函数 ， 仅 与 时 
间 间 隔 有 关 ， 而 与 时 间 起 点 无 关 )， 在 a 二 一 2 的 条 件 下 ,5 二 t 和 2 二 十 ce 分 别 对 应 问题 的 
因果 和 非 因 果 两 种 情形 。 不 管 在 哪 一 种 情况 下 ， 都 可 以 考虑 为 时 不 变 滤波 器 的 问题 。 例 
如 ， 对 于 菜 些 函 数 h:R 一 R，h(1，7) 可 以 写成 h(i 一 7) 的 形式 。 在 滤波 器 满足 时 不 变 的 条 
件 下 ， 非 因果 的 Wiener-Hopf 方程 可 简化 为 
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Cu = | AC ada, — o0 < r< o (7. 3. 68) 
因果 方程 可 简化 为 
Cxy (t) = 上 hla)Cy(r—a)da, OX r< œ (7. 3. 69) 


和 离散 情况 类 似 ， 式 (7. 3. 68) ASK C7. 3. 69) AB AY LATE ILA ET AS BRR AR. BBE Cv. h 
和 Cy 的 傅 里 叶 变 换 分 别 是 Pay. A A by GE RE. Py EX; 1€R} 和 {Y,; cE R} MR, 
几 是 {Y,; CER MAR), HERO. 3. 68) 可 表达 为 Ce (0) = (h * Cr)(Cr)( 其 中 * 代表 卷 
积 运算 )， 则 式 (7. 3. 68) 等 价 为 





gr (w) = Hloh lw), 一 co < w < o (7. 3. 70) 
显然 ， 最 佳 非 因果 滤波 器 的 传递 函数 为 
_ bay (w) 
Ho (w) = 2 (7.3.71) 


在 对 滤波 响应 施加 因果 约束 后 ， 求 解 式 (7. 3. 69) 存 在 一 定 的 难度 。 类 似 于 离散 情形 ， 
需要 将 观测 谱 办 因 式 分 解 成 因果 部 分 生 和 非 因 果 部 分 虹 [= (os) * TB sh. AT GE 
dy 满足 连续 时 间 域 Paley-Wiener 条 件 [参考 Wang(1983)], Ep 





| lioggy Go) | A +e des < 20 (7. 3. 72) 
对 dy 进行 因 式 分 解 后 ， 式 (7. 3. 70) 的 传递 函数 可 表示 为 
+ A pxy Cw) 

Hi w) raae 上 (7. 3.73) 


这 里 运算 L， j++ 表示 取 谱 的 因果 部 分 ， 即 [ 理 (w)], =F (z)}， 其 中 
Wey = t>0 
0, $ < 0 
将 式 (7. 3.73) 中 各 部 分 表达 式 分 别 代 入 后 即 可 证 明 式 (7. 3. 73) 是 式 (7. 3. 69) 的 解 。 显 
然 ， 同 离散 时 间 滤 波 器 的 直观 解释 一 致 ， 该 滤波 器 可 看 作 由 因果 预 白化 滤波 器 1/@y 和 因 
果 MMSE 估计 器 级 联 而 成 ， 其 中 因果 MMSE 估计 器 用 来 从 预 白化 后 的 观测 数据 中 估 
H Xr 
第 二 类 估计 问题 是 观测 量 {Y,; :ER} 中 包含 与 {(X,; ziER} 不 相关 的 白 品 声 ， 它 可 根据 
式 (7. 3. 67) 描 述 的 Wiener-Hopf 方程 直接 求解 。 为 不 失 一 般 性 ， BECO, =C, s) + 
(No/2)6(1 一 s)， 则 Wiener-Hopf 方程 可 写 为 


C7: 3. 74) 


b 
Cyy (t;s) = f h(isr) Ce krs )dr F Ath(tys) x aS sb (7. 3. 75) 


上 式 是 第 二 类 Fredholm 方程 ， 当 Cyy M C. 连续 且 No /2>>0 时 存在 唯一 解 。 
下 面 以 非 相 关 加 性 白 噪 声 中 估计 信和 号 为 例 来 说 明 Wiener-Hopf 方程 在 线性 /高 斯 估计 
问题 中 的 重要 性 。 设 X =S, 以 及 
X,= S++N,, extras (7. 3. 76) 
其 中 ，{NN,; —co<t<cco} WAM RRS, Cy=C.=C,. BR. 与 之 对 应 的 Wiener-Hopf 
方程 可 简化 为 式 (7. 3. 7)。 事 实 上 ，Kalman-Bucy 滤波 问题 是 式 (7. 3.76) 的 特例 ， 且 直接 
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从 Wiener-Hopf 方程 就 能 得 到 Kalman-Bucy 滤波 器 [参考 Van Trees(1968)]。 这 是 因为 方 
程 (7. 3. 41) 在 本 质 上 就 是 利用 新 息 过 程 来 估计 状态 变量 的 Wiener-Hopf 方程 。 


7.4 非 线性 滤波 


对 于 第 7. 3 节 中 讨论 的 线性 /高 斯 信号 估计 问题 已 经 有 了 相对 较 好 的 解决 方式 。 然 
而 ， 当 线性 约束 条 件 和 高 斯 模型 不 再 成 立时 ， 连 续 时 间 域 的 最 优 信号 估 值 问题 变 得 相当 
困难 。 此 时 ， 信 号 估计 所 面临 的 基本 问题 与 连续 时 间 域 的 非 高 斯 信号 检测 问题 一 致 ， 也 
就 是 如 何在 函数 空间 中 构造 适合 于 非 高 斯 测量 的 概率 密度 函数 。 不 过 ， 在 对 这 个 问题 附 
加 某 些 约束 后 ， 特 别 是 假设 信号 和 观测 均 由 非 线性 动态 模型 产生 (例如 Kalman-Bucy 滤 
波 中 所 涉及 的 非 线 性 条 件 ) ， 就 能 够 很 好 地 近似 大 部 分 的 非 高 斯 物理 现象 。 因 此 ， 本 节 
将 重点 考虑 非 线性 动态 模型 的 最 优 滤 波 问题 。 对 非 线性 问题 进行 完整 和 严格 的 阐述 是 非 
常 复杂 的 ， 完 全 可 以 单独 成 书 ， 所 以 本 节 仅 简 述 其 核心 思想 。 读 者 若是 对 具体 细节 问题 
感 兴趣 ， 可 以 参考 Lipster 和 Shiryayev 的 书 (1977)， 以 及 Bebes(1987) 和 Marcus(1984) 
写 的 综述 。 

大 量 物理 过 程 的 演化 特性 可 以 建 模 为 非 线 性 随机 微分 方程 的 形式 ， 即 

dX, = m(X,,t)dt+o(X,,t)dW,, t 宇 0 Che AS 

其 中 ， 状 态 的 初始 值 为 Xe m Filo 是 RX (0，coo) 上 的 实 值 函数 且 o>0, (W,; 10) BIH 
WF X。 的 标准 维 纳 过 程 。 如 前 所 述 ， 式 (7. 4. 1) 中 的 记号 是 下 述 积分 方程 的 简写 形式 


x 三 党 十 | mX. sds + [oC X,.)4W, (7. 4. 2) 


其 中 ， 第 二 个 积分 式 可 以 解释 为 Ito 随机 积分 。 注 意 一 个 特例 ， 即 当 mC X,, AX, 和 
o(X,, =B, Wf, A, AB, 是 某 个 确定 性 函数 ， 式 (7.4.1) 是 线性 的 。 因 此 式 (7. 4.1) 是 
Kalman-Bucy 问题 中 提出 的 线性 随机 系统 模型 的 推广 形式 。 为 了 表述 方便 ， 本 节 所 讨论 的 
模型 只 局 限于 标量 情况 ， 向 量 的 情况 是 类 似 的 。 

只 有 存在 某 个 随机 过 程 使 得 式 (7. 4. 1) 或 式 (7. 4. 2) 成 立 ， 这 两 个 表达 式 才 有 意义 。 幸 
运 的 是 ， 只 要 函数 m A 满足 简单 的 光滑 性 和 递增 性 条 件 就 能 确保 该 式 存在 唯一 的 良性 
解 。 假 设 E{X;} 二 呈 2， 那么 存在 上 述 随 机 过 程 的 充分 条 件 是 该 过 程 满足 线性 增长 条 件 ， 即 


|m(a,t)|+ lolz: |< KU +r)” (7. 4. 3) 
其 中 开 之 0。 则 该 随机 过 程 唯一 的 充分 条 件 是 满足 一 致 Lipschitz 条 件 ， 即 
|m(x,t) —mCyst) |+ |o(z,t) —ol(y,t) |< Kla—y| (Teh: 49 


其 中 K>0 且 对 R? 上 的 所 有 (x，y) 式 (7.1.4) 均 成 立 ， 因此， 在 下 文中 ， 完 全 可 以 用 式 
(7. 4. 2) 来 定义 一 个 连续 采样 的 唯一 随机 过 程 。 在 这 些 过 程 中 ，m(X,， Ode 通常 可 以 看 成 
是 偏 移 项 ， 而 o( X,, OdW, 对 应 方差 项 。 

形 如 式 (7. 4. 1) 的 过 程 称 之 为 扩散 过 程 。 该 过 程 是 马尔 可 夫 过 程 ， 即 对 于 每 一 个 s>0, 
给 定 XX, 后 ，{X,; >s) MX; 0 过 上 <s) 相 互 独立 。 可 以 直观 地 看 出 ， 这 个 性 质 对 于 任何 
的 t>s>0 都 成 立 ， 并 有 如 下 表达 式 成 立 


x, =X, +] m(X,wdu+ oX. ww, (7. 4.5) 
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式 (7.4.5) 表 明 {X,; >s) Ase eh X, 和 ({W, 一 W,; 1 之 s} 构 造 。 因 此 ， 只 要 给 定 X,， 
由 于 {W, 一 W,; 1 之 s} 与 过 去 的 所 有 观测 无 关 ， 则 {X,; ts} 5X; t< ER. 

满足 马尔 可 夫 性 质 的 随机 过 程 构成 了 一 大 类 在 实际 中 经 常 使 用 的 随机 模型 ， 它 比 扩散 
过 程 的 应 用 范围 还 要 广 。 不 过 ， 在 满足 某 些 正则 条 件 下 ， 所 有 连续 的 马尔 可 夫 过 程 都 能 表 
示 成 式 (7.4.1) 所 描述 的 扩散 过 程 的 形式 ， 其 偏 移 项 由 下 式 给 出 


mest) a lim Ei Xe Xe = 2} me (7. 4.6) 


Ao A 
方差 项 则 由 下 式 的 正平 方 根 给 出 





o (z,t) A lim var{ Xaa |X, = x} 
T aot A 


因此 ， 由 式 (7. 4.1) 所 描述 的 扩散 过 程 ( 以 及 与 其 相对 的 向 量 形式 ) 能 够 包含 大 部 分 实际 模 
型 。 [注意 ， 在 式 (7. 4. OMR. 4. DH ma, OM (xz, OAH RRMA XS 
时 ， 随 机 过 程 条 件 均 值 和 方差 对 时 间 的 导数 。] 

相 比 一 般 的 非 高 斯 随机 过 程 而 言 ， 在 马尔 可 夫 性 质 的 约束 下 ， 描 述 扩散 随机 过 程 的 统 
计 特 性 就 更 为 容易 。 特 别 地 ， 对 于 任意 正 整 数 n 和 个 时 刻 ON <p <<, <4, <0, 
可 将 X,，…，X, 的 联合 概率 密度 分 布 表 示 为 [参见 式 (3. 2. 99)] 


(7.4.7) 


Px, o +X, (Hr Xn) = Px, co TT bs, IX, ， Car trr) (7. 4. 8) 


因此 ， 随机 过 程 的 任意 有 限 维 分 布 都 可 以 根据 初始 条 件 的 概率 密度 Dx, 和 转移 概率 密度 
px, |x, (zly)，t>s 过 0 计算。 而且 ， 当 具有 正则 性 时 ? ， 转 移 概率 密度 函数 满足 偏 微分 
方程 


È prir (zly) = Al px (rly), >s (7.4.9) 
其 中 ， 对 于 函数 f(z), le tae 
A; f(x) = 3 Zalo wara- ð > [maD f(x) ] (7. 4. 10) 


式 (7. 4. 9) 就 是 著名 的 Fokker-Planck 方程 ， 也 是 扩散 过 程 的 Kolmogorov 前 向 扩散 方程 。 
Fokker-Planck 方程 的 一 个 重要 推论 是 随机 过 程 的 一 阶 概率 密度 满足 偏 微分 方程 


Spx (a) = A px (xz), t>0, ZER (7. 4.11) 


在 :一 0 时 的 边界 条 件 由 初始 概率 密度 px,(z) 给 出 。 从 式 (7.4.11) 可 以 得 到 形 如 f(X,) 的 
随机 变量 的 期 望 的 微分 方程 ， 其 中 PR EO. PB. TER 


EXD) =| f@px de, (7.4. 12) 
因此 ， 假 设 积分 和 微分 的 顺序 可 以 交换 ， 那 么 有 
SE F(X) 一 le: f(a) 2px, (ade = | ræ At px, (xdx (7.4.13) 





COQ 一 组 充分 条 件 是 ol(x，2) 永 不 为 0 且 oz, t), mlx, t), dlx, t)/dx, Om(z, t)/dx KO ola, 1)/dx? 都 
满足 线性 递增 和 一 致 Lipschitz 条 件 。 
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进一步 假设 f 是 充分 正则 的 ? ， 通 过 分 部 积分 后 ， 式 (7.4. 13) 简 化 为 
FE{f(X)) = ELAS XD) 10 (7.4.14) 
初始 条 件 为 E{ f(X)}, BRA 定义 为 
ASX) Aa moat) Èf) + Soa fa) 


假设 X, WIJ u, =E(X,}, flad=a2, WRC. 4.14), A 


faa = E{m(X,,t)}, t>0, m = E{Xo} C7. 4. 15) 
其 中 ， 变 量 上 方 的 圆 点 表示 时 间 微 分 。 类 似 地 ，X, WH, SEX) u 满足 微分 方程 
ü, = BE{X:) — 2pji, = 2eov(X, M(X 0) HELP (X, D}, +0 (7.4.16) 


Aow=var(X,). HR f ER AA EO A A RE, A E A A E R g a Pes 
m(X,, t)#lo’ (X,, t). BAXMA EW EJE sh (7. 4.140) WT, 但 是 这 些 方程 
涉及 求 关 于 X, 的 非 线 性 函数 的 期 望 。 可 以 看 出 ， 在 非 线 性 滤波 问题 中 也 存在 类 似 的 
困难 。 
线性 情形 则 是 此 类 问题 的 一 个 简化 求解 ， 此 时 ,mm(X,, DAX., ol(X,, O=B,, 其 
A, AB, 都 是 确 知 函 数 。 进 一 步 可 将 式 (7. 4. 15) 和 式 (7. 4. 16) 简 化 为 
fe = Apis t 宇 0, po = E{Xo} C7. 40 179 
和 
v, = 2A,+B?, t>0, w = var(X) (7. 4. 18) 
式 (7.4.17) 和 式 (7. 4. 18) 是 不 带 其 他 未 知 量 的 一 阶 线性 微分 方程 。 事 实 上 ， 式 (7. 4.170 和 
式 (7.4.18) 分 别 对 应 不 含 观测 量 (C, 二 0，t 宇 0) 时 卡尔 曼 滤 波 方程 的 均值 和 方差 。 
注意 ， 不 需要 推导 Fokker-Planck Jy FEM AER. FARR E{ fC(X,)}) 演 化 的 微分 方程 
(7. 4. 14) 也 可 以 根据 扩散 方程 (7. 4. 1) 直接 得 到 。 特 别 地 ,假设 上 有 连续 的 一 阶 导数 广 和 
二 阶 导数 产 ， 那 么 可 以 利用 泰勒 展开 理论 ， 在 A>0 时 ， 将 式 (7. 4. 1) 改 写成 


f Xaa) fX) Xia X, 1 | 1 CX ,ia 
age ag gs f (X,) + 





m X )? M 
: (X, 
A f . 


~ [nd Han Mee faxo 


1 [mX DA +(X t Waa LW 


+3 A 


f" ( X, ) 





B m(X, rt) CX) +o(X,,t) f'CX,) aa 


+ Som? KDSK) + mK DX, OF KX) Wua — Wi) 





CO RERE 8? f(x)/93x? 存在 且 连 续 ， 并 满足 
a, a | 
ee may t) f(x) px, (2) = i im : [Zr | | fee Ð px, cx) | 





= lim | Zaro lox, H) px (x) ]=0 
z | >| Ox" t 
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mora 2 
+ 3 CX FX,) Wua -WD (7.4.19) 
TER. (Waa T WDORAN O, DARES X, 无 关 ， 则 对 式 (7.4. 19) 两 边 同 取 期 望 可 以 
得 到 
EX f(Xaa)} — E(f(X)} 
A 





E(m(X, Df KD} + Em K D fCX)) 


HFE X D fCX)) 
假设 E{m’(X,, 四 六 (X,)} 二 2， 目 令 A>0 后， 有 下 面 的 表达 式 成 立 
SELD) = E{m(X, DF (XK) HFP DSX) |= EAX) 
即 式 (7. 4.14), 
注意 , EX FX) = | f(z)px, Cz)dz， 那 么 对 每 个 给 定 的 工 而 言 ，px (z) 可 视 为 


E{6(r 一 X,)}， 其 中 6 是 狄 拉 克 冲 激 函 数 。 将 期 望 的 计算 形式 代入 式 (7. 1.13) 后 ， 有 


d 


a JD px, (xdx = |" f(a) Ar px (x) dz 


其 中 ， 令 f AWE 9px (2) /dxr=A} px, (z) 的 脉冲 响应 。( 事 实 上 ，Fokker-Planck 方程 本 
FEE X =y 时 的 期 望 为 条 件 推导 出 来 的 .) 虽 然 最 后 一 步 推导 并 不 是 那么 严格 ， 但 是 由 
于 上 面 已 经 假设 f 有 连续 的 二 阶 导数 并 可 将 狄 拉克 冲 激 函数 看 成 是 光滑 函数 的 极限 ， 所 以 
对 于 那些 足够 正则 的 m Mo 而 言 是 严格 的 。 因 此 ， 期 望 的 微分 方程 和 概率 密度 的 微分 方程 
包含 了 相同 的 扩散 过 程 信息 ， 这 是 推导 非 线 性 滤波 的 基本 方程 的 关键 。 
7.4.1 非 线性 滤波 的 基本 方程 
现在 考虑 由 式 (7.4.1) 产 生 的 扩散 过 程 {X,; :人 0} 通 过 含 噪 的 非 线 性 观测 得 到 ， 即 
Y, = hX No td (7. 4. 20) 
其 中 , h 是 在 RX(0，co) 上 的 实 值 函数 ，{NN,; t 宇 0} 是 独立 于 {W,; t>0)M Xu 的 零 均 值 
高 斯 过 程 且 满足 E{N.N,} =ROC—s) (对 所 有 10 都 有 R, 这 0)。 为 了 得 到 更 加 严格 的 模 
型 ， 对 式 (7. 4. 20) 积 分 得 到 的 观测 量 {2Z,; t 宇 0} 由 下 式 给 出 
dZ, = h(X,,t)dt+Ri?dv,, t>0 (7. 4. 21) 
KP, (Vis t 宇 0} 是 与 X。 和 {W,; t 宇 0) 无 关 的 标准 维 纳 过 程 。 
目的 是 对 于 每 一 个 上 人 过 0， 利 用 从 观察 起 始 时 刻 直 至 时 间 上 的 观测 量 来 估计 X, 的 函数 
太 CX,)。 由 第 4 章 的 讨论 可 知 ， 条 件 均 值 是 最 小 均 方 误差 估计 量 ， 即 


FR) = E{f(X) 12') (7. 4. 22) 
注意 ， 式 (7.4. 22) 可 以 通过 下 式 计算 得 到 
FX) = | fqx, (rae (7. 4. 23) 


其 中 ，gx, (x) 表 示 给 定 Z 后 X, 的 条 件 概 率 密度 函数 。[ 为 了 简单 起 见 ， 没 有 将 其 记 为 条 
件 概率 函数 的 表达 式 ， 但 是 要 注意 qx, (7) 是 依赖 于 Qu 的 函数 .注意 ， 当 缺乏 观测 量 时 [ 即 
ACX D=0], gx (ORE px (x)， 且 了 CX,) 满 足 微分 方程 (7. 4. 14) 。 因 此 ， 如 果 可 以 找 
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到 某 个 方程 使 得 条 件 概率 密度 函数 gx, Cx) 与 Fokker-Planck 方程 中 出 现 的 概率 密度 函数 
Px, (Zz) 类 似 ， 那 么 就 可 以 给 出 条 件 均值 为 式 (7.4.22) 的 类 似 的 微分 方程 。 不 过 ， 对 每 个 
LERMA, (qx, 1); t 宇 0} 是 随机 过 程 ， 因 此 这 个 方程 只 有 在 统计 意义 上 才 成 立 。 

在 正则 条 件 下 ， 可 以 证 明 这 样 的 方程 确实 存在 。 特 别 地 ，gx, (xz) 满足 如 下 的 随机 偏 微 
分 方程 


dgx, (x) = A; qx, Cx) dt + qx (x)LACzst) — ROX IR dL, 220 (7.4.24) 


其 中 ， 此 处 及 后 文 出 现 的 带 “ 三 角 尖 ”的 X, 的 函数 表示 给 定 Z, 的 条 件 均 值 。 式 (7. 4. 24) 中 
的 过 程 (1,; t 宇 0} 是 ( 非 线 性 ) 新 息 过 程 ， 即 


1 AZ| MX sids, 1220 (7. 4. 25) 
0 


其 初始 条 件 是 gx, (2) = px, (zx)。 式 (7.4. 24) th KA Kushner 方程 。 注 意 ， 对 于 px, 而 言 ， 
当 没 有 观测 量 ( 即 As0) 时 ， 该 方程 将 退化 为 FokkerPlanck 方程 。 和 否则 ， 条 件 概率 密度 
的 演化 将 由 系统 的 动力 学 特性 (通过 运算 符 4” ) 和 观测 量 共同 描述 。 式 (7.4. 24) 中 的 这 
组 方程 给 出 了 zER 的 概率 密度 gx (zx) 的 递归 形式 ， 因 为 方程 的 右边 只 包含 了 gx, (x. 


qx, (zx) 的 导数 和 可 以 根据 qx, (zx) 计算 的 玫 X,， 态 。 式 (7.4.24) 的 具体 推导 过 程 将 会 在 后 
面 给 出 。 


结合 式 (7. 4. 23) 和 式 (7. 4. 24)， 可 以 得 到 由 fCX,) 演 化 的 随机 微分 方程 。 特 别 地 ， 首 
先 给 出 式 (7. 4. 24) 的 积分 形式 ， 即 


qx, (x) = px, (x) +f qx, (ods + | As qx, (x) [ACays) — ACK, ss) IRI, 
0 0 


(7. 4. 26) 
假设 积分 的 顺序 是 可 以 交换 的 ， 则 有 


FR) -| fax, de = | fps, drt| | F A; qx, de 
+f | f(xqx, (a) [hCarys) — ACK, s) Jdzrdl, 
0J 一 上 
=E{fCX)) 十 | | ax, cz AS dards 
,| gx 


+ [repaceoescoaz 一 | JCz)qx (x) dich (X, 48) |R dl, 
=E(f(X.)} +| AF Kds+ | CFIA — AXD AX, JR dl, 
(7. 4. 27) 
其 中 ， 在 第 二 个 等 式 中 ,利用 了 式 (7. 4.15) 用 过 的 分 部 积分 法 。 式 (7. 4. 27) 可 以 重 写 为 
d FX) = Af KD d+ (FRIAK, OD — (XD AK DIR dL, t>0 
F(X) = El f(X)) (7. 4. 28) 
上 述 方程 中 的 FCXDhCX,, O-LXDAK,, DREA Z h AR SX IA ACK. DH 
条 件 方差 。 
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在 f(X,) 依 赖 于 时 间 +t 时， 可 以 得 出 和 式 (7.4.28) 类 似 的 方程 。 在 考虑 SX, DA, 





方程 (7. 4. 28) 唯 一 的 改变 是 在 右边 需要 增加 广 X,，id 项， 其 中 ==3f/3t。 注 意 ， 当 没 
有 观测 量 (4 圭 0) 时 ， 在 式 (7.4.28) 中 , 令 f(X,) 二 6(z 一 X,) 就 能 得 到 计算 条 件 概 率 密度 
qx, (Zz) 所 需 的 式 (7. 4. 24)。 因 此 ， 式 (7.4. 28) 和 式 (7. 4. 24) 在 本 质 上 等 价 。 

虽然 式 (7.4.28) 描 述 的 是 从 已 知 条 件 Zu 中 估计 f(X,) 的 滤波 器 的 演化 过 程 ， 但 是 该 


方程 并 没有 指出 如 何 应 用 该 滤波 器 。 这 是 因为 式 (7. 4. 28) 的 实现 同样 也 需要 求解 A 了、 也 
和 让 的 滤波 器 ， 而 这 又 会 涉及 求解 更 深层 次 的 非 线性 滤波 器 。 除 非 在 有 限 次 的 应 用 
式 (7. 4. 28) 之 后 ， 包 含 在 这 些 方程 中 的 变量 能 够 得 到 闭 式 解 ， 否 则 通过 这 种 方法 推导 出 的 
关于 所 X,) 的 滤波 器 将 会 是 无 限 维 的 。 相 反 ， 如 上 所 述 ， 虽 然 条 件 概 率 密度 的 方程 严格 弟 
H, 但 是 因为 条 件 概率 密度 函数 是 值 卫 数 ， 只 有 在 无 限 维 参数 情况 下 才 是 递归 的 。 换 言 
之 ， 只 有 在 一 些 特殊 的 情形 下 才能 有 效 求解 。 
在 下 面 的 例子 中 将 讨论 这 些 情形 和 滤波 方程 (7. 4. 28) 的 其 他 方面 。 尽管 从 滤波 器 实现 
的 角度 看 ， 最 优 滤波 方程 一 般 并 不 合适 ， 但 是 在 对 最 优 滤波 器 进行 近似 时 却 非常 有 用 ， 并 
且 能 够 得 到 在 实际 中 可 行 的 滤波 器 。 下 面 ， 通 过 例子 来 对 式 (7. 4. 28) 近 似 后 的 一 些 实 用 滤 
波 器 进行 简要 讨论 。 
直接 状态 估计 之 条 件 均值 演化 过 程 
所 感 兴趣 的 通常 是 直接 估计 扩散 项 X, 本 身 。 与 之 相对 应 的 情形 是 f(x) 二 +， 滤波 方 
程 (7. 4. 28) 变 成 
dX, = mX, Ode + [XA (XÐ — Å, h (X, ,tJR dI, (7. 4. 29) 
注意 ， 没 有 观测 量 (4 寺 0) 时 式 (7. 4. 29) 将 退化 成 式 (7. 4.15). 
对 于 线性 观测 量 [h(X,， 二 CX,]， 式 (7. 4. 29) 可 以 写 为 
d 党 = m(X, pdt + CCX? RL = m(X, GP Rd (7.4. 30) 


Ep, PAR- S, 是 给 定 2 时 ，X, 的 条 件 方差 ， 即 条 件 均 方 误差 (MSE) 。 可 以 发 现 ， 
EH CPR dl, 与 卡尔 曼 滤波 器 中 相对 应 项 的 形式 一 样 [参见 式 (7. 3. 61)]。 进 而 ， 如 
果 假 设 偏 移 项 也 具有 线性 性 质 ， 即 m(X,，7) 二 A,X,， 则 滤波 方程 (7. 4. 30) 退 化 为 


dX, = A, X,dt+C,P,R;'dl, (7. 4. 31) 
IÑ (7. 4. 31) 45 Kalman-Bucy 模型 中 出 现 的 滤波 方程 形式 一 致 。 然 而 ， 这 两 者 之 间 存 在 着 根 
本 差异 ， 即 式 (7. 4. 31) 中 的 P, 可 能 依赖 于 Z,。 下 面 的 例子 将 考虑 这 一 问题 。 < 


直接 状态 估计 之 条 件 方差 演化 过 程 
例 7.4. 1 中 对 广 的 估计 性 能 可 以 用 上 面 介绍 的 条 件 均 方 误 差 (MSE)P,= X? — R 来 稀 
量 。 可 以 通过 dP, =d 区 一 d( 冲 ) 来 研究 估计 器 的 性 能 ， 其 中 d XP MEM FCz) 一 的 情况 。 
显然 ， 直 接应 用 式 (7. 4. 28) 后 ， 有 
dX? Em CR dt LEAX, 0) — XPACK, IRA dL, 
ChB 32) 
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对 于 第 二 项 d( 序 )， 原 则 上 可 以 将 其 写 为 dX) =2 Xd X,, HAMR, 的 演化 方程 来 消去 
dg, Ax, (7.4.30) PAX, 包含 关于 更 新 过 程 {1,; O<s<z} fy Ito 随机 积分 ， 而 根据 
6.4 节 ( 参 见 6.4.5 节 ) 已 经 知道 这 类 过 程 一 般 不 满足 | KAX = dx 一 X?) ， 所 以 需要 
额外 考虑 。 

为 了 推导 出 dR ) 的 正确 表达 式 ， 首 先 给 出 Ito 微分 规则 或 Ito 公式 。 

命题 7.4. 1 Ito 微分 规则 

假设 下 是 下 列 形式 的 随机 过 程 

dF, = G,dt+ H,dW,, 0o<t<T (7. 4. 33) 


其 中 Gy 和 HT 是 满足 已 (| Gld <)= P([ | Hi|de<co)=1 Hmm, WER 


维 纳 过 程 ， 且 对 于 每 一 个 SE 0, T, RAW, —W,; sX<t<T) Fe (Gi, Hi, Wi) 独立。 
进一步 假设 g 是 在 及 上 的 实 值 函数 且 有 连续 的 一 阶 和 二 阶 导数 g 和 Co”, RAJS 
g(F), A 


dJ, = g (F,) dF, + 538 (FI)H:, 0<t<T (7. 4. 34) 


备注 
1) 在 普通 微 积 分 中 与 式 (7.4.33) 相 对 应 的 公式 是 dJ, =g (已 )dF,。 出 现 修正 项 (1/2) 
g (F,) 环 是 因为 : 对 于 维 纳 过 程 而 言 ， 从 根本 上 说 ，(dW,)? 的 作用 更 像 d 而 不 是 (dz)*。 对 
于 形 如 式 (7. 4. 33) 的 这 些 过 程 来 说 ， 将 其 理解 成 (dF,)’ ~ Hidt。 特 别 地 ， 作 为 对 式 (7. 4. 34) 
的 一 个 合理 的 论证 ， 对 dg(F,) 可 以 利用 泰勒 展开 式 得 到 
l n 


dg(F,)~ g( Fa) —g(F,) ~ g' CP) (Fna — F,) + 7E CF) Pate — Fa 


= g'(F,)dF, +L g" CF) dF? (7. 4. 35) 


利用 式 (7. 4.33), Æ 
(dF,)? = G (dt)? + 2G,H,(dW,) dt + H? (dW,)? 

该 式 中 的 第 一 项 是 O((dz)*)， 第 二 项 是 Od’), Be~ H d Ak, MER, 
Æ (dF,) ~H? dt 成 立 ， 进 而 得 到 式 (7. 4. 34) Lipster 和 Shiryayev(1977) 对 该 结果 给 出 了 
严格 证 明 。 

2) 与 式 (6. 4. 4) 一 样 ， 式 (7.4. 35) 的 特例 是 g(a) Sr, G,=0 而 且 H, 是 一 个 确 知 函 
数 ( 称 为 如 )。 鉴 于 满足 命题 假设 的 所 有 g 都 是 局 部 二 次 的 ， 因 而 g(z) 王 是 典型 例子 。 

3) 结合 式 (7. 4. 33) 和 式 (7. 4.34), ， 可 以 得 到 


dJ, = [g'(F)G, + 58 (F)H:]d + g' (FD EdW (7. 4. 36) 


因此 J 也 是 形 如 式 (7. 4. 33) 的 过 程 ， 其 中 需要 将 G, 替换 成 [g'(F,)G, 十 (1/2)g” (F,)H?]， 
H, 替换 成 g'(F,)H,。 可 以 看 出 ， 形 如 式 (7. 4. 34) 所 描述 的 一 类 过 程 在 光滑 的 (无 记忆 的 ) 
非 线性 变换 下 是 封闭 的 。 此 类 过 程 ( 包 括 扩 散 过 程 ) 有 时 也 称 为 Ito 过 程 。 

现在 让 回 到 之 前 讨论 的 条 件 方差 P, 的 演化 问题 。 在 对 ( 广 ,)? 应 用 Ito 公式 之 前 ， 必 须 
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先 将 d X, 写成 式 (7. 4. 33) 的 形式 。 注 意 
dI, = dZ, — A(X, dt = [A(X,,t) — ACK, ,Dd + R"? dV, 
X, 的 滤波 方程 变 为 
dÅ, ={m(X, 0) + CXA(X a] = x, A(X., D] X RO[ACK, t) EX st) I} de 


+ (XA (X, 0] — 8, 8X, DIR? av, 
由 于 V, 是 维 纳 过 程 且 {V, 一 V,， 过。) 独 立 于 过 去 的 时 刻 ， 应 用 Teo 公式 后 可 得 到 
dX? = 2,4 X,4+ Kh (X, D] Ê, h (X DPR dt (7. 4. 37) 
联 立 式 (7.4. 30)、 式 (7.4. 32) 和 式 (7.4.37) 并 且 重 排 各 项 ， 得 到 X, 的 条 件 方差 的 随 
机 微分 方程 如 下 


dP, ={2 (X, — KX,)m(X,,t) LEX, TRACK D- RX, A(X D] R }dt 








HEX, R, VAX, D — P, A(X D]R dL, t>0 (7. 4. 38) 
# P, =var(X,). 
一 般 来 说 ， 该 方程 非常 复杂 。 对 于 线性 观测 Lh(X,， O=CX, MA. WAEA 
dP, = [2 (X, — &))m(X, 0 +0 (KX, D + CPR A a + X= E ORP dR 
(7. 4. 39) 
注意 ， 式 (7. 4. 39) 右 边 的 二 次 项 CP?PR, |, Æ Kalman-Bucy 模型 中 ， 该 项 在 由 式 (7. 3. 62) 
所 描述 的 Riccati 方程 中 也 出 现 过 ， 在 那里 它 表示 误差 方差 。 如 果 假 设 偏 移 项 也 是 线性 的 
[m(X,, t)=A,X,], WC. 4. 39) 可 以 进一步 简化 为 
dP, = [2A.P, + ORD FOPIR ldt + (X, RCRA, (7.4.40) 
(一 次 项 2A,P, 同样 也 出 现在 Kalman-Bucy 的 方差 方程 中 ) 注 意 ， 尽 管 在 线性 观测 和 偏 移 假设 下 
的 滤波 方程 (7. 4. 31) 与 Kalman-Bucy 滤波 方程 具有 相同 的 形式 ， 但 根据 式 (7. 4. 40)， 它 们 存在 重 
要 区 别 ， 即 式 (7. 4. 31) 中 的 方差 已 需要 满足 式 (7. 4. 40)。 换 言 之 ， 它 依赖 于 观测 量 。 
假设 z(x， 不 依赖 于 c, MU ol, 2 二 B,， 式 (7. 4. 40) 可 以 进一步 简化 为 
dP, = (2A,P, + Bt + CPIR7') dt + (X, —) R7 dI, CT. 4. 41) 
因此 ， 即 便 对 于 线性 模型 ， 条 件 方差 P, 也 仍然 依赖 于 观测 ， 这 是 由 于 更 新 项 中 包含 了 条 
FEMP,- R. 然而 ， 如 果 假 设 初 始 条 件 X 是 高 斯 过 程 ， 那 么 该 模型 中 的 所 有 
过 程 都 是 联合 高 斯 过 程 ， 即 给 定 2, 后 ，X, 也 满足 条 件 高 斯 分 布 。 由 于 高 斯 分 布 关于 其 均 
值 对 称 ， 奇 数 阶 中 心 距 均 为 零 ， 所 以 有 CX, 一 义 ,* 二 0 和 
dP, = (2A,P, + BP + CP?R dt (7. 4. 42) 
式 (7. 4. 42) 为 Kalman-Bucy 滤波 中 的 方差 方程 。 
7.4.2 非 线性 滤波 方程 的 推导 
现在 给 出 式 (7. 4. 28) 的 简单 推导 过 程 : 表达 式 为 


eee ee Es ee 


d F(X) = Af XD dt + [fCX ACK — F(X) ACK, DIRS dI, 
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上 式 描述 了 在 给 定 Qu 的 条 件 下 7jCX,) 最 小 均 方 误差 估计 器 的 演化 过 程 。 正 如 上 面 所 提 到 
的 ， 令 f(X,) 二 a(x 一 X,) 将 得 到 描述 条 件 密度 演化 过 程 的 式 (7. 4. 24)。 在 推导 式 (7. 4. 28) 
的 过 程 中 ， 将 得 到 与 概率 密度 式 (7. 4. 24) 具 有 相同 信息 的 方程 ， 但 是 形式 却 更 加 简单 。 为 
了 简单 起 见 ， 假 设 对 所 有 的 (0 都 有 R, 二 1。 对 于 一 般 的 R, 来 说 可 以 进行 直接 修正 。 
需要 找到 条 件 期 望 E{f(X,) | 2o } 的 某 种 表达 式 。 为 此 先 考虑 给 定 X, FZ 的 条 件 统 
计 特 性 ， 然 后 利用 贝 叶 斯 公式 求解 条 件 期 望 。 如 果 知 道 扩 散 过 程 在 上 时 刻 及 之 前 所 有 时 刻 
的 样本 ， 假 定 X, 5r 后 可 将 Z, 视 为 加 性 维 纳 过 程 中 的 已 知 波形 ， 即 
dZ, = h(z,.s)ds+dV,, 0Xs<it (7. 4. 43) 
在 假设 | 尼 (z,,s)ds < ce JHU EAT FEY 那么 该 条 件 总 是 成 立 的 ， 且 如 果 及 对 于 这 


两 个 变量 来 说 是 连续 的 ， 那 么 该 条 件 依 概率 1 成 立 ) ， 就 可 以 在 维 纳 意义 上 给 出 Zo 的 概率 
密度 函数 。 特 别 地 ， 该 概率 密度 函数 将 会 是 假设 Z, 由 式 (7.4. 43) 给 出 和 假设 Zs 是 标准 维 
纳 过 程 的 似 然 比 。 将 该 似 然 比 记 为 A,， 其 表达 式 由 Cameron-fMartin 公式 给 出 ， 即 

A Ca = exp | h(a, .3)dZ, =g [H Csa) 
令 PX 表示 与 X, 有 关 的 概率 测度 。 再 根据 贝 叶 斯 公式 ， 有 


J PKA CZ) Px Cds) 
F(X) = pee 
| A Cii) Px (dzt) D, Gar 








(7. 4.44) 


HP ON, (Z,) Al D,(2,) 分 别 记 为 该 等 式 中 间 项 的 分 子 和 分 母 。 

推导 关于 f(X,) 演 化 的 方程 ， 首 先 要 找到 关于 NZ) A D, (2 ) 的 方程 ， 然 后 将 其 结 
合 。 为 此 ， 下 面 将 给 出 向 量 过 程 的 Ito 微分 公式 。 

命题 7.4.2 向 量 lto 公式 

假设 {W,; [Ope k ARI H RAE t, AF; t 宇 0} 是 由 下 列 方程 产生 的 
m 维 随机 向 量 l 

dF, = G.dt+H,dW,, 0<t<T (7. 4. 45) 

EPG 是 m 维 随 机 向 量 ，H, 是 mXn h Ept, TA s 宇 0 R, (W.—W.; 
1 宇 s} 独 立 于 (G;，HH; ，Wi)。G, 的 每 个 分 量 和 H, 的 每 个 元 素 在 [0，T] 上 依 概率 1 绝对 可 积 。 
LAC7.4.45 RAF 的 第 j 个 分 量 可 以 写 为 FP = FP + [GP ds + Hh Hye? dw? , 


k=1 


j= 三 1,2,…,mj]。 进 一 步 假定 g 是 R” ee Bia, N 
dg(F,) = De, (F,)dFo += LS es a (Fd F® FÖN (7. 4. 46) 


ae 
Ee, pe Bz,,2, =o g(x) /exOa;, H 

d(F®, F®), = (H,H?);;dt (7.4.47) 
其 中 (下 ， Po), = Ds 





© #8. X, MZ, 是 [0， :J 上 的 连续 函数 空间 中 的 随机 元 素 ， 满足 o 代数 性 质 [ 参 见 Dunford 和 Schwartz 
(1958) ]. 测度 Px 和 那些 涉及 定义 4, 的 测度 都 在 该 空间 中 。 
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备注 
D 以 向 量 泰勒 级 数 的 形式 展开 dg(F,)~~g (Fis) 一 g(F,) 后 ,证 明 此 结论 的 过 程 与 证 


明 命 题 7. 4. 1 类 似 。 如 果 将 式 (7. 4. 46) 重 写 为 如 下 形式 则 会 更 加 明显 


1 


dg(F,)= [Vg(F,)]" dF, + 5 


tr{ Dg (F,)H,H? } dt 


= [ve(F,) ]"dF, + tr(H!Dg (F,)H? } de (7. 4. 48) 


其 中 ,Vg 表示 & 的 梯度 ，Dg g 的 二 阶 偏 导 矩阵 ，tr{ 。} 表 示 取 迹 操作 (B tA = S'A.) 。 
展开 后 可 得 


dg(F,) ~ gC Fa) — g(F,) dic [Ve CF.) ] (Fa — F,) HE Fou — F,)" Dg CF) (F pa — F,) 


~ [veCh)J dF; + <dF!Dg(F,)dF, 
利用 式 (7.4.45)， 可 以 得 到 


dg(F,) ~ [Vg(F,)]"dF, + $G!Dg (FG, (dD? + G'Dg (F,)H, (dW, dt 


+ (dW)T HIDg CF) HAW, (7. 4. 49) 
注意 ， 当 di 趋 近 于 零 时 ， 式 (7.4. 49) 中 仅 有 O(di) 这 一 项 有 意义 。 因 为 对 于 无 穷 小 的 出 
来 说 , 方程 右边 的 第 二 项 和 第 三 项 将 变 成 零 。 方程 右边 的 第 四 项 为 十 > YM, 


i=l j=1 


dW)? dW, Hh MM, 一 HiDg (F,) H,. EN (dWS?)?~de, W, 的 分 量 相互 独立 ， 所 以 有 
dW)? dW? 一 oldz) 成 立 ， 进 而 可 将 第 四 项 近似 为 SUM. de= + tr(H7Dg (F,)H,)dt, 
i=] 


BU st (7. 4. 48) 成 立 。 

2) 式 (7. 4. 47) hat LAE FO, FO), HEAP OM FO WZA. AF 
单个 Ito 过 程 dF,=F,dt+H,dW, 来 说 ， 该 二 次 变 分 可 以 简单 地 表示 为 dF, F),=Hide. 
对 于 向 量 而 言 ， 因 为 各 个 分 量 之 间 没 有 耦合 ， 因 此 H, 是 对 角 和 矩阵 ， 即 对 所 有 的 1 隆 ;， 有 
KF, Fy, =H) dtl d(F°, F®),=0 成 立 。 

现在 再 回 到 求解 4 FOX SLE. ERE OLE MAS XDA X, Z). TA 
将 此 过 程 写 为 f(X,)er, 其 中 

dF, = ACK, st)dZ, — Sh (Xo Dd = Fh? (X, Dd — ACK dV, (7. 4. 50) 
同时 ，X, 满足 扩散 方程 ， 即 
dX, = m(X,.t)dt+oa(X,,t) dW, (7. 4.51) 


又 因为 V Al W, 是 独立 的 维 纳 过 程 ， 所 以 F,/X, 是 形 如 式 (7.4.45) 的 向 量 形式 的 Ito 过 
程 ， 其 中 m=k=2, G, AH, 分 别 为 
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t 


| ona ee 0 4 


Sh (X, 50) 0 ee 


W M,.=8(X,, Fi), 其 中 g(r, r2)= flae), TAX M, 应 用 向 量 形式 的 Ito 微分 规 
则 。 注 意 

(f (a, er 
flx )e™ 


Vg(x) = 





| Dg (x) = 





faie f’ (x) e% 
f xi)e™ f(x, )e® | 
AA 
d(X,F),= d(F,X), =0 
d(X,X),= 0° (X,,t)dt 
d(F,F),= h?(X,,t) det 
假设 (ESE, AT LAFF Bl 


dM, =f XD dX, + fCX) er dF, + FIX dela? XD dt Ff XV Hh X, de 
(7. 4. 52) 
根据 Ae". M,=f(X)A, 和 dF, =A(X,, DAZ ERX., Dd, R(T. 4. 52) 可 以 
重 写 为 关于 X, AZ, 的 表达 式 ， 即 
dL F(X A] = F KIAAX, +t FXORK AMZ, + Ff CK) X, DAA 
Ch. 4 53) 
对 于 函数 a(t), Sala A BYE | alri) A Cr) Px (dai) 。 CHER. DÈ Z, 的 函 


数 。] 因 此 ， 当 NZ) =X.) A DZ) = 1, FESR C7. 4.53) 两 边 同 时 应 用 该 线性 算 子 ， 
可 以 得 到 关于 dN, (Z ) 的 方程 ， 即 





dN,(Z,) = f'(X) dX, + LfCX,)hCX, ,7) ]dZ, +A 7 XDP Kae (7. 4.54) 
第 一 项 f'(X,)dX, 是 在 固定 Z,( 而 不 依赖 于 Zi ) 的 条 件 下 ，f'(X,)A,(Xs; ZdX, P X, 的 
非 条 件 期 望 。 由 于 dX,=m(X,, t)dtt+o(X,, OdW, H dW, 与 所 有 过 去 时 刻 无 关 ， 所 以 可 
以 得 到 f°(X,)dX, 二 六 (X,)m(X,，t)dt。 因 此 方程 (7. 4. 54) 变 为 





IN i= [F XDMX, DELS (K(X, D Jae + FX DACK, DAZ, 


= Af X Ddt + FXII, OZ, 
= [Af CX) + FOR ROKR DAC, t) de + FX YAK HAV, (7.4.55) 
由 于 D (ZÆ f(a) =1 时 NZD FES 
dD, (Zi) = ACK, t)h(X, .t) dt +hCX, dV, (7. 4. 56) 
又 由 于 V, 是 维 纳 过 程 ， 可 从 式 (7.4. 55) 和 式 (7. 4. 56) 中 看 出 ，N,/D, 构成 m= 二 2、k 二 1 的 
向 量 Ito 过 程 ， 其 中 
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es Eee + fCX)hCX, HACK, ,i) 
hCX, hCX, »t) 


t 





(X,)ACX, ,1) 
A(X, ,i) 


根据 式 (7. 4. 40D WRRM, FXI=N,(Z)/D,(Z)=e(N,, D), 其 中 gl, zx)=z /zi。 
求 偏 导 后 ， 有 














1/zxs i —1/23 
Vg(x) = H Dg(x) = 
— giha = 1/z}  2an/ 23 
同样 有 
diN: D) =D,Ny = | F(R RCR, at) | (XR, sty ldz 
d(D,N), = LfCX)hCX,,t) |? de 
All 


d(D,D), = [hC(X, 2) Pde 
结合 上 述 公 式 并 应 用 向 量 形式 的 Ito 公式 ?后 ， 可 以 得 到 





IFA = LN Siab, = 让 [CRIA LACK, DJa + NRC, st) ede 


(7. 4.57) 
根据 式 (7. 4. 55) 和 式 (7. 4.56), & 











ES 人 LACX DACX, .t) | A CX, 1) N, [ACX, »t) ]7? 
dF) = [= D, Bp tpl pe | ie 
+ [ELAR DI) N ACE OT) a7, (7. 4.58) 


注意 ， 对 于 任何 具有 g(X,) 形 式 的 随机 变量 而 言 ， 有 8(CX,) 一 区)/D, 成 立 。 因 此 ， 结 合 
FX) = N,/D, 和 更 新 项 的 定义 式 (dr 一 dZ. 一 fdi) 后 ， 式 (7.4. 58) 退 化 为 
d FXO = AF (X pdt + [FX ACK — F(X) AK Dd, (7.4.59) 
这 就 是 R=] 时 的 滤波 方程 (7. 4. 28), S AELA, DRETA BT RIER. 4. 44) 求 解 。 
备注 
1) 未 妇 一 化 的 条 件 密 度 。 根 据 式 (7.4. 55)，f(X,) 满 足 演化 方程 
d f(X,) = AFCX,) dt + fCX)hCX, ,t) dZ, (7. 4. 60) 


OAT EG FOX) 的 变化 方程 稍 简单 。 既 然 根据 元 X.,) 的 方程 可 得 到 关于 qx, (z) 的 演化 方程 ， 
而 根据 式 (7. 4. 60) 可 以 得 到 与 gx (z) 有 关 的 “密度 函数 ”"， 这 也 就 意味 着 能 找到 比 gx, (z) 更 
加 简单 的 方程 。 特 别 地 ， 假 设 定义 








日 注意 ,Vg 和 Deg 在 zs 二 0 处 是 不 连续 的 。 然 而 ，D, 以 概率 1 为 正 ( 相 应 的 原因 将 在 下 面 讨论 )， 所 以 该 不 连 
续 点 完全 可 以 忽略 。 
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px, (2) = BG XD = | 8a — z.) A; Cah 5Z5) Px (dzt) (7.4.61) 
Hh o FERAL GE PK. OER, ox, OE Z 函数 。] 进 而 有 


qx, (x) = 8@—X,) = (zx— X) _ px, (x) 








N, N, 
而 且 易 知 
FRI = |" fx px, ede (7. 4. 62) 
因此 N AI 一 | px œde H 
9 
qx, (£) = REN i aa (7. 4. 63) 
| ex, de 


根据 式 (7.4.63) 可 知 ， 对 于 每 个 上 而 言 ，ox 是 给 定 Z, 条 件 下 X, 的 非 归 一 化 条 件 密 
度 ， 它 和 qx, 有 着 相同 的 形式 ， 但 积分 可 能 不 等 于 1。 由 于 ax 可 以 从 px 中 得 到 ， 就 计算 而 
言 ， 二 者 等 价 。 

结合 式 (7. 4. 60) 和 式 (7. 4. 62)， 有 


a Fe, d= [| AL pr Ody dt | FOdAG Dox, 9)dy az, 


=|" fo At px, Vat [| fy pr Ody JAZ, (7.4. 64) 
S f(y) 趋 近 6(x 一 y) 后 ， 就 可 推导 出 ZaKai 方程 ， 即 

dox, (x) = Af ox, (x)dt + h(xz,t)px, (x)dZ, (7. 4. 65) 
作为 对 比 ， 考 虑 R, 寺 1 时 qx, (Cz) 的 演化 过 程 ， 即 


dgx, (x) = Af qx, (x) dt + qx, (2) Lh(zst) — ACK, 0) LdZ, — ACK, de] (7. 4. 66) 
比较 ox 和 qx 的 演化 方程 ， 可 以 看 出 前 者 更 简洁 。 特 别 地 ， 由 于 AXD =j. Maaja 


qx, (x)dx HFE q Á dZ, qh Á dt 以 及 (qh)*dt 项， 所 以 式 (7.4.66) 是 关于 qx, 的 非 线性 方 
程 。 与 此 相反 ， 式 (7.4. 65) 关 于 px, 线 性， 因此 更 容易 分 析 。[ OER, ACO. 4. 65) 并 不 是 线 
性 微分 方程 ， 因 为 方程 的 右边 存在 ox, 和 dZ, 的 乘积 。 不 过 ， 该 方程 却 是 双 线性 的 ， 即 对 
于 ox, 和 dZ, 来 说 ， 只 要 其 中 一 个 固定 ， 则 另 一 个 是 线性 的 .] 此 外 ， 式 (7.4. 65) 更 加 容易 
计算 。 在 给 定 x 时 ， 对 ox, 进行 数值 计算 只 需要 知道 工 下 的 px 、px 和 po“x 。 这 些 量 都 是 可 
以 根据 ox, 在 给 定 的 邻 域内 的 分 布 计 算出 来 的 局 部 特性 。 相 反 ， 计 算 给 定 工 时 gx 的 数值 


传递 则 需要 求解 积分 | AC Dax (z)dr ， 它 是 由 gx 在 所 有 < 下 计算 出 来 的 全 局 量 。 


事实 上 ， 非 归 一 化 密度 ox 在 非 线性 滤波 中 有 着 更 重要 的 意义 ， 即 在 非 线性 滤波 中 ， 
可 以 通过 ox, 的 演化 方程 来 求解 有 限 维 的 最 优 滤 波 器 。 关 于 此 问题 的 讨论 将 会 在 下 面 给 出 。 
2) 检测 由 扩散 方程 产生 的 信号 的 估计 -相关 器 公式 。 信 号 检测 问题 可 用 假设 检验 对 描述 为 
H,:dZ, = dV;, IEE 
H,:dZ,=S,dt+dV,, 0<t<1 


(7. 4. 67) 
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其 中 信和 号 S; 是 扩散 过 程 {X,， 0 过 tz 过 1} 的 函数 ， 即 S,=hA(X, » bs (V; 0 过 tz 过 1} 是 独立 于 
(Xa; 0 过 :之 1) 的 维 纳 过 程 且 | star 一 co 依 概率 1 成 立 。 


假设 观测 持续 到 某 个 时 间 cE (0,，1)。 令 X= 二 zi， 式 (7.4.67) 的 似 然 比 由 Cameron- 
Martin 公式 给 出 


exp] | aca, »u) dZ, 一 fn (x,,u)du 


这 就 是 4,(zi; 2Zo)。 因 此 ， 持 续 到 时 间 : 的 观测 的 似 然 比 工 , 可 以 通过 对 A,(Czi5 ZOE X, 
的 分 布 上 求 取 平均 得 到 ， 即 


bn = | Atai PX (das) = T = DZ) 


其 中 D, 是 式 (7. 4. 44) 中 的 分 母 项 。 根 据 式 (7. 4.56). Le 满足 随机 微分 方程 ， 即 
d = ACK, OdZ, = S;dZ; = 81,07, (7. 4. 68) 





此 处 利用 了 S$, 二 5,/D,。 
再 考虑 logL!， 有 
dL, = §,L,S,dt+ §,L,dV, 
并 且 利 用 g(x) 二 log(zx) 条 件 下 的 Ito AR, A 








1 1 1 x 3 __ ale A 
doge = j-dL. — 5 (Fz) GLO dt = §,dZ, — 5 (8,)*de (7. 4. 69) 
式 (7. 4. 69) 的 积分 形式 为 
logL, = logL, +Í §,4Z, 一 If LS, du (7. 4. 70) 
0 0 


MAW Lo =1, Li=dP;/dPo(Z,), WARC. 4. 70) 意 味 着 
TELZ = expl |, 842 — +], 18a) (7.4.71) 

这 就 是 在 6. 4 节 中 给 出 的 似 然 比 估计 器 -相关 器 公式 。 

注意 ， 在 推导 式 (7.4.71) 时 ， 并 没有 直接 利用 新 息 过 程 dl 二 d2Z, 一 $,dt 的 任何 性 质 。 
正如 6.4 节 所 述 ， 新 息 过 程 所 具有 的 特性 在 本 质 上 遵循 似 然 比 公式 (7.4.71)。 此 外 ， 尽 管 
式 (7.4.71) 的 有 效 性 最 早 在 扩散 模型 上 得 到 了 验证 [参见 Duncan(1968) 或 者 Stratonovich 
和 Sosulin(1965)]， 但 它 在 一 般 意义 上 也 是 成 立 的 。 

3) 非 线性 滤波 中 的 有 限 维 度 。 正 如 之 前 已 经 提 到 的 ， 条 件 密度 ( 归 一 化 的 或 非 归 一 化 
的 ) 的 演化 方程 具有 无 限 维 递归 特性 。 在 非 线 性 模型 中 求解 有 限 维 的 最 优 滤波 器 在 本 质 上 
需要 求解 一 组 有 限 维 的 变量 ， 这 些 变量 能 够 独立 于 其 他 量 传播 ， 并 能 由 此 计算 出 条 件 概率 
密度 的 充分 统计 量 。 事 实 上 ， 高 斯 Kalman-Bucy 模型 恰好 说 明了 这 一 点 ， 在 该 模型 中 ， 所 
有 的 条 件 概 率 密度 是 高 斯 的 ， 因 而 仅 由 其 均值 和 方差 所 决定 。 正 如 式 (7.4.31) 和 
式 (7. 4. 42) 所 示 ， 对 于 Kalman-Bucy 模型 ， 均 值 和 方差 的 更 新 / 递 推 过 程 与 其 他 量 无 关 。 

在 非 线 性 滤波 模型 中 可 ， 以 利用 非 归 一 化 的 密度 方程 do = A; pdt 十 hpdZ, 检验 是 否 存 
在 有 限 维 充分 统计 量 。 研 究 结 果 表 明 : 由 于 该 方程 是 双 线 性 的 ， 所 以 利用 向 量 域 有 关 的 
Lie 代数 的 有 限 维度 可 以 回答 该 方程 有 限 维 可 实现 性 的 问题 。 此 处 不 再 详 述 这 一 理论 ， 只 


第 7 章 连续 时 间 信 号 估计 


给 出 两 个 有 趣 的 情况 。 其 中 一 个 是 立方 传感器 问题 ， 即 
dX, = dW, 
dZ, = X?dt+dV, 
尽管 它 的 表达 式 很 简单 ， 但 在 本 质 上 具有 无 限 维特 性 [参见 Hazewinkel 和 Marcus 
(1982)]; 另 一 类 是 所 谓 的 Benes 类 问题 ， 即 
dX,= m(X,)dt + dW, 
dZ;= X,dt+ dV, 
其 中 ， 对 于 常数 a、5 和 c(a 宇 一 1)， 有 mm (x) +m (xz) 二 ax’* 十 bx 十 cc 成立。 研究 表明 该 问 
题 具 有 十 维 充分 统计 量 [参见 Benes(1981)]。 
读者 若是 对 非 线 性 滤波 的 细节 感 兴 趣 ， 可 以 参考 Brockett 和 clark(1980) 或 者 Marcus 
(1984) 的 文献 。 i 
7.4.3 最 优 非 线性 滤波 器 的 近似 方法 
只 有 在 某 些 特殊 环境 下 ， 最 优 非 线性 滤波 方程 才能 以 有 限 维 实现 ， 因 此 将 研究 重点 转 
F B dn f ATX E Dy EEIT A REEE o 
例如 ， 考 虑 直接 状态 估计 器 的 演化 公式 (7. 4. 30) 
d $, =m(X, Ddi + LX ACK, D — Å, h (X JR dI, 


=m(X, D) dt +UXA(X.,D — Å, A (X,, D ]R7 aZ, 
— [Xh (XD — $, h (X, DIRT AK, Dae 


RTT BEN MERLE Fy EAU Em, KAMAN. BE, WREE X,—X, 在 
KARETE A ABBE Am Cr, t), hlr, OERE x WJC PR. mlz, OAM hC, t) AE 
似 为 

m(X,,t) ~m, t) 十 (X — X,)m'(X, 1) (7.4. 72) 
All 

hCX,5t) = ACK, 0) + (CX, — FDA’ CKD (7. 4. 73) 
Hp, m(x, t)=am(a2, t)/dz, h'(x, t)=dh(2x, t)/dx. ME, 考虑 式 (7.4.72) 和 
式 (7.4.73) 中 的 条 件 期 望 ， 因 为 E{X,—X,|Z)}=0 后， 所 以 有 


mX +t) ~m, ,1) (7.4.74) 
和 
ACX, D ACR, 1) (7. 4.75) 


Eh. Xh— XA AEWA 
KCK, — LACK, D= &— RAL DO 
s-r o = PAR. (7. 4. 78) 
其 中 P, 是 给 定 Zs 后 X, 的 条 件 方差 。 将 式 (7.4.74) 代 人 式 (7.4.76) 中 ， 得 到 条 件 均值 演 
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化 的 近似 表达 式 为 
d $, ~ m(X,,t)dt + Ph' (RN, ÐR XLdZ,—h(K,,t) de] (7. 4.77) 
注意 ， 式 (7.4.77) 的 右边 只 涉及 dZ,、 和 也 ,。 因 此 ， 如 果 可 以 计算 出 P,， 就 可 以 
实现 近似 滤波 器 。 
下 面 考虑 方差 的 传递 方程 (7. 4. 38) ， 即 
dP, =[2 (X, — RK) +X, —LKACKD — A Rd 


HR- RVA 2) — PACK, DIRS VI, (7. 4. 78) 
如 果 采 用 与 前 面相 同 的 方法 来 逼近 该 方程 ， 并 对 o* (zx, 进行 一 阶 泰勒 级 数 近 似 后 ， 有 
dP, ~[2P,m'(X,.t) +P (R, t) — P?(h'(X, ,7) Re Jdt 


+ (CX, — EFE RAL dz, — ACK, 2) de] (7. 4.79) 
然而 ， 相 比 式 (7. 4. 77) 而 言 ， 式 (7. 4.79) 的 右边 除 包含 4Z.、 入 MP, 之 外 ， 还 包含 了 条 


件 三 阶 中 心 距 CX, 一 充 ”。 如 果 重 复 上 述 通 近 过 程 ， 就 会 得 到 依赖 于 条 件 四 阶 中 心 距 的 近似 
方程 。 因 此， 即使 帝 近 后 ， 仍 是 无 限 维 方程 。 不 过 ， 如 果 进 一 步 假 设 ， 误 差 X, 一 竞 关 于 零 均 


值 对 称 分 布 (例如 高 斯 误差 )， 则 有 CX, 一 竞 ”=0 成 立 ， 此 时 式 (7.4.77) 和 式 (7. 4. 79) 就 会 变 
成 一 组 封闭 的 方程 ， 即 
d X, = m(X,,t)dt+ Ph’'(X,,t) Ri X [dZ, —hCX,.t) dt (7. 4. 80) 
和 
P, = 2P,m'(X,.t) +o? (X, st) — P Eh (R, OTRO (7. 4. 81) 
由 式 (7. 4. 80) FIIR CT. 4. 81) 所 描述 的 滤波 器 称 为 扩展 卡尔 曼 滤 波 器 ， WAP IR 
非 线性 滤波 器 。 图 7. 4. 1 中 给 出 该 滤波 器 的 实现 框图 。 与 卡尔 曼 滤 波 器 不 同 的 是 ， 在 扩展 
卡尔 曼 滤波 器 中 需要 把 状态 估计 输入 到 计算 增益 的 滤波 器 中 。 下 面 ， 通过 一 个 例子 说 明 这 
些 方程 的 应 用 。 











图 7.4.1 扩展 卡尔 曼 滤波 器 
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相位 跟踪 
相位 跟踪 问题 是 实际 应 用 中 经 常 出 现 的 典型 非 线性 估计 问题 ， 在 该 问题 中 ， 需要 利用 
噪声 环境 下 的 正弦 信号 观测 值 来 估计 正弦 信号 的 相位 。 特 别 地 ， 考 虑 如 下 观测 模型 
dZ, = Csin (wst + X,)dt + [Z] a, (7. 4. 82) 
其 中 ，C 和 o 分 别 是 已 知 的 常数 振幅 和 频率 ， 噪 声 谱 密度 为 Nw/2。 该 模型 对 应 h(x， D= 
AsinCwot 十 z)， 此 时 扩展 卡尔 曼 滤 波 方程 变 为 
d X, = m(X,,t)dt + (2CP,/N,)cos(at + X,) X [dZ, — Csin Cwt + X,) de] 


(7. 4. 83) 
All 
P, = 2P.m'(X,,t) +P (X, t) — 2C P? cos’ (apt + X,)/No (7. 4. 84) 
通常 可 将 相位 扩散 项 X, 视 为 由 一 阶 时 不 变 线性 模型 产生 ， 即 
dX, =— aX,dt + dW, (7. 4. 85) 


其 中 4 二 0。 此 时 ,扩展 卡尔 曼 滤波 方程 简化 为 
d , =— a X, + (2CP,/N,)cos(wot + X,) X [dZ, — Csin(wot + X,)dt] (7. 4. 86) 
All 
P, =— 2aP, +1 — 2C P? cos (aot + X,)/No (7. 4. 87) 
式 (7. 4. 86) 本 质 上 是 一 个 受 非 线 性 反馈 (2CP,/ Ny ) cos(ant + X,) LdZ, — sin (wot + X,) di] 激 
励 的 低 通 滤波 器 (d 名, 二 一 a 名 ,dz)， 其 3dB 带宽 为 24a。 典 型 相位 带宽 (也 为 24) 远 小 于 载波 
频率 we 。 此 时 高 频 信号 cos(wott+ X,) sin(wot+ X,) = (1/2) sin(2a,t +2 名 ,) 无 法 通过 估计 滤 
波 器 。 因 此 ， 该 估计 器 可 近似 为 
dX, =— a X,+ (2CP,/N,)cos(aot + X,) dZ, (7. 4. 88) 
同 理 ， 式 (7. 4. 87) HAY 2C P? cos? (wot + X,)/No 项 等 于 C’P?[1+cos(2wt+2 X,)]/No. 
MR a<w。， 那 么 该 式 中 的 第 二 项 无 法 通过 滤波 器 ， 进 而 可 将 方差 方程 简化 为 
P, =— 2aP,+1— C P/N, (7. 4. 89) 
事实 上 ， 用 Cz 代替 h(x， 后 ， 就 能 得 到 Kalman-Bucy 滤波 模型 中 的 Riccati 方程 。 假 设 
方差 到 达 稳 态 值 P- ， 则 相位 跟踪 器 的 稳 态 滤波 器 方程 为 
d X, = 一 a , + K..cos(at + X,)dZ, (7. 4. 90) 
其 中 Ka =2CP../No. 
图 7. 4. 2 给 出 了 式 (7. 4. 90) 所 描述 的 非 线性 滤波 器 (通常 dZ,=Y.dt). Ave was BI 
锁 相 环 ， 在 实际 中 应 用 非常 广泛 。 注 意 ， 锁 相 环 的 稳 态 性 能 P- 是 下 列 方程 的 正 根 
0 =— 2aP.. 十 1 一 C2P2V/No 
即 








P. = (i+ C 1 = 


C /aN, 可 视 为 锁 相 环 中 的 信 品 比 (SNR)， 因 为 Csin(wot 十 X,) 的 平均 功率 正比 于 C 和 谱 
密度 为 No/2 的 白 噪声 通过 3dB 带宽 为 2a 的 滤波 器 后 的 平均 输出 功率 为 aN。。 当 C/aNo 
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增 大 时 ， 有 Ps ~LaNo/C* ] ”， 即 稳 态 跟踪 精度 随 着 信 噪 比 (SNR) 平 方 根 的 倒数 降低 而 降 
低 。 注 意 ， 在 高 信 噪 比 CSNR) 情 况 下 ， 扩 展 卡 尔 曼 滤波 器 的 性 能 会 最 接近 最 小 均 方 误差 非 
线性 滤波 器 的 性 能 ， 这 是 因为 X,— X, 非常 小 。 


方差 计算 电路 








cos (wot+X) 





图 7.4.2 锁 相 环 : 最 优 相位 跟踪 器 的 逼近 


读者 若是 对 锁 相 环 的 内 容 及 其 性 能 感 兴趣 ， 可 以 参考 Viterbi 的 书 (1968) 。 < 

FEARS FAH. PRF S UB BC a BE A BO I AER PEE AE. MAE. RORY 
估计 误差 不 够 小 ， 那 么 该 滤波 器 对 最 优 非 线 性 滤波 器 的 近似 将 很 差 。 此 时 ， 需 要 利用 高 阶 
泰勒 级 数 展开 来 更 好 地 逼近 非 线性 过 程 。 

二 阶 滤波 器 是 对 卡尔 曼 滤 波 器 的 扩展 ， 它 利用 二 阶 来 近似 非 线性 。 特 别 地 ， 将 么 展 
开 为 


MCX, 0) ae mY, 0 +X, Em Fd + +X, — $m" (Se t) 
Xt h 进行 类 似 的 操作 ， 滤 波 器 方程 中 估计 量 的 二 阶 近似 为 
mix, D emt X20 + SP", D 


XD ACE + SPAN, D 


(X, — IRK ~ (PACE 4 + X, — Xn" XO] 
FRU (CX, -X,)°=0R, R, 的 二 阶 演化 方程 变 为 
dR [mR +5 Pim"(R, ar 
17 总 一 2 1 Nae dS 
+ Ph RDR | az, — [ACK — FPA Rd Jae] (7. 4. 91) 


求解 上 述 问题 还 需要 已 知 P, 的 演化 方程 。 应 用 上 述 步骤 [包括 令 (X, 一 充 ” 二 0] 且 
利用 





TI 


e+ (K= EYR (HO 
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得 到 P, 的 演化 方程 为 
dP, ~{2P,m'(X, t) +0? (CX, t) + P.[o'(X, D + P(X, t0"(X, 52) 


一 PER (R, D PRO) de+ 二 (X, — Xa" OR 
x [az — (h(%,42) + TPAR Dde | (7. 4. 92) 


MEA Us Bi ARE DU BY HH CX, RO HRADE. HR ERE E NE 
演化 方程 ， 那 么 将 会 涉及 条 件 五 阶 和 六 阶 中 心 矩 。 虽 然 对 称 误差 假设 可 避免 求解 五 阶 矩 ， 
但 是 计算 六 阶 矩 将 会 涉及 八 阶 矩 等 。 因 此 必须 引入 一 些 其 他 的 假设 来 消除 高 阶 矩 之 间 的 夺 
合 。 注 意 ， 如 果 误 差 (X, 一双) 是 高 斯 的 ， 那 么 高 阶 矩 之 间 的 耦合 将 会 被 破坏 ， 因 为 高 斯 随 
机 变量 的 四 阶 中 心 矩 和 二 阶 中 心 矩 的 计算 关系 为 

(x, — T = BP; (7. 4. 93) 
在 缺乏 更 符合 实际 的 假设 时 ， 通 常 可 假设 式 (7. 4. 93) 近 似 成 立 ， 那 么 P, 的 方程 简化 为 
dP, ~{P,[2m'(X, .t) +o X, ,to (RN, t) 十 (Ca CX, 07] 


+o (R, t) 一 P?(h'CX,.0) J R7 }dt + 3 Pt" R, Re 
x [dZ, — A(X, 2) + SPA" R, 11) de] (7. 4. 94) 


#6 (X,—&,)'<0 HICK, RN 23 P? 假设 条 件 下 ， 式 (7. 4. 92) 和 式 (7.4. 94) 是 一 组 对 
非 线性 滤波 方程 二 阶 逼 近 的 封闭 方程 。 图 7. 4. 3 为 该 滤波 器 的 示意 图 。 在 计算 增益 时 ， 不 
仅 需 要 向 滤波 器 中 输入 状态 估计 量 免 ， 而 且 还 需要 利用 观测 量 Y,。 









m(X,, 0) +1/2P,m" X, t) 


h'(X,, 0) R7! 





h(X,, 1) +1/2P,m" (X,, 0 


图 7.4.3 二 阶 滤波 器 
作为 二 阶 滤波 器 的 应 用 实例 ， 再 次 考虑 例 7.4.3 中 的 相位 跟踪 问题 ， 其 相位 模型 
dX, 二 一 aX, 十 dW,。 假 设 0 二 aw。， 则 滤波 方程 和 之 前 的 近似 形式 保持 一 致 ， 即 
d X, ~— a X,dt + (2CP,/Ny) cos(aot + X,)dZ, (7. 4.95) 
不 过 ， 方差 方程 变 为 
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Cr 
2No 
显然 ， 相 位 佑 计 器 的 二 阶 形式 和 扩展 卡尔 曼 滤 波 器 一 样 ， 唯 一 的 不 同 在 于 二 阶 滤波 器 中 的 
增益 计算 依赖 于 数据 。 
在 结束 如 何 对 非 线性 滤波 器 进行 有 效 逼 近 的 讨论 之 前 ， 需 要 注意 : 在 某 些 情况 下 ， 线 
性 Kalman-Bucy 滤波 器 可 用 来 通 近 最 优 非 线性 滤波 器 。 为 了 证 明 这 一 点 ， 假 设 某 个 确 知 函 
BX xp? (之 0) 满 足 非 线性 微分 方程 
dx” = mai? adi. £0 (7. 4. 97) 
BU. {as t 宇 0} 可 表示 某 个 交通 工具 (如 飞机 ) 在 一 维 方向 上 的 运动 或 轨迹 ， 而 函数 
mx,” , 由 可 代表 交通 工具 的 动力 学 以 及 作用 在 上 面 的 确定 性 控制 力 的 影响 。 假 设 真实 的 





sas te 3 3P. i 
re | aP, H1 (513P) [ar — F= Csin + £, >Z, (7. 4. 96) 
0 


轨迹 受 随机 扰动 影响 (如 飞机 扰动 ) 而 偏离 名 义 上 的 轨迹 {zt”; t 宇 0}。 利 用 扩散 过 程 可 将 


其 建 模 为 
dX, = m(X,,t)dt+o,dW, (7. 4. 98) 
其 中 o dW 表示 随机 扰动 。 
假设 含 噪 的 观测 过 程 为 
dZ, = ACX, ,t)dt + R;” dV, (7. 4. 99) 


如 前 所 述 ， 假 设 {W,) 和 {V,} 是 独立 的 标准 维 纳 过 程 。 根 据 Zoot X， 等 价 于 利用 Zs 估计 
6X,， 其 中 OX, 表示 X, 相对 名 义 上 的 轨迹 的 偏差 ， 即 
6X, A X,—2, 150 
而 为 表示 观测 量 与 (x10) 之 间 的 偏差 ， 即 
dZ, = dZ,— WC sdt 
GEA X, 的 演化 方程 并 利用 z'” 表示 确 知 轨迹 ， 很 容易 得 到 
SX) =[m(X, 90) — m(x st) ]dt + cov(oX, »hCX, st) — hla 42) | ZRF 


x [da Z, — [hCX, st) — a(x 50) Jdt] (7.4. 100) 
假设 实际 轨迹 与 名 义 轨迹 之 间 的 偏差 很 小 ， 则 有 下 面 的 表达 式 近 似 成 立 ， 即 
mX, t) — mr,t) œ m' (x ,t)dX, 
All 
A(X, t) — h(a t) ~ h' (x ,t)dX, 
进而 得 到 近似 估计 器 方程 为 
dK) ~ m! (x t) SX, + Ph! (x Re X [dS —h' (0 ,t) 6X.de] 
. (7. 4. 101) 
注意 ,求解 式 (7. 4. 101) 只 需要 知道 条 件 方差 P, 二 var(X, |Z) =var (dX, |2,) 和 观测 值 
d Z,。 进 一 步 考 虑 P, 的 演化 方程 ， 将 上 述 近 似 代入 式 (7. 4. 38) 后 ， 方 差 方 程 可 近似 为 
dP, [2Pym (2 ,2) + of — [LPh (x 52) R; dt 





+ (aX, — IX R [d Z, hr ,t) HX,dt] (7. 4. 102) 


FRU ERE EI ap. OX, RN = 成 立 ， 式 (7.4. 102) 变 为 
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P, ~ 2Pm' (2 ,t) +o? — [P,h' (ce ,1) PRY (7. 4. 103) 
HER. ABA Sm (ce, t), B,=6,. C =h' (xe, OAR, 如 前 所 述 ， 式 (7.4. 101) 和 
式 (7. 4. 103) 就 是 在 Kalman-Bucy 模型 中 的 最 佳 滤 波 方程 。 因 此 ， 对 于 该 模型 而 言 ， 上 述 
近似 滤波 器 就 是 最 优 滤波 器 
d(8X,)= m (x ,t) (8X,) dt + odW, 


Be cs (7. 4. 104) 
d Z,= h' (x ,t) (6X,) dt + RY? dV, 


此 方程 是 式 (7. 4. 98) 和 式 (7. 4. 99) 在 名 义 轨迹 zt:” 上 的 简单 线性 化 。 校 准 器 通过 估计 状态 
变量 来 将 实际 过 程控 制 在 名 义 状态 轨迹 上 。 因 此 ， 在 实际 的 线性 状态 空间 模型 中 ， 经 常 采 
用 上 述 线性 化 操作 。 


7.5 习题 


1. 假设 信号 Y, = N+Os,, O[KtST, Nes 0<t Ce) 假设 LO, 2zj] 均 匀 分 布 的 随机 变量 ， 


委 了 T} 表 示 零 均值 、 均 方 连续 的 高 斯 噪声 过 程 ; 
{s.，0 过 tT}) 表 示 已 知 的 连续 信号 ; @ 为 服从 
N (ys o° ) 分 布 的 随机 变量 ， 上 且 与 噪声 独立 。 
(a) 假设 检测 问题 
Hy :¥,=Nies 
H,:Y,=N,.+s,, 
非 奇 异 , 已 知 {Y,， 
MMSE 估计 。 
(b) BRA Alias 


0 和 ET 
0<t<T 
0<t<T}), 求解 日 的 


[aide =1 a> —92, 求解 在 自 协 方差 满 


Æ FRR 98 的 MMSE 估计 


Cy (t,u) = Noat — u) + Aarau» L tuss T 


(c) 假设 维 纳 过 程 {N，0 科 去 了 的 自 协 方差 为 


Cults u) = 2 min (0, u)， 进 一 步 假设 


s =—Eysin(ayt)/an E,>0. ER n 有 ww 一 
nn/T, Wit o BA EXT/N, 变化 时 昌 的 
MMSE 估计 。 
. (a) 假设 信号 

Y, = Asin(2xnt +6) +N,, 0<t<1 
其 中 {N,，0 达 :三 1) 为 零 均 值 高 斯 随机 过 程 


且 有 连续 自 协 方 差 函 数 Cy (t，z); BALE - 


Tt A ARM Nu, PaaS N, 0O<t<1} 
独立 。 假 设 SAA, REAY, 0< 
t<1} F A K MMSE 估计 。 

Cb) 用 具有 单位 功率 谱 幅度 的 高 斯 噪声 代替 
{N ，0 委 二 1) 并 求解 问题 (a) 。 


且 独 立 于 A 和 {N,， 0 过 :过 1}, 求解 问题 
(b), 


. 证 明 式 (7. 3. 13) 。 
. 利用 式 (7. 3. 20) 求 解 积分 方程 (7. 3.19). 
. 假设 随机 过 程 X, 满足 


dX, 
dt 


其 中 a 为 一 个 正常 数 ，X EMATHHA oi >0 的 
零 均 值 随机 变量 ; (U,; t 宇 0} 是 一 个 与 X。 独立 
的 零 均 值 白 噪声 且 自 协 方差 满足 

Cu (tst) = ogå (Ct — r) 
假设 观测 模型 如 下 

Y,=X,+N,, t>0 
其 中 (NN,; :人 0} 是 零 均 值 白 噪声 过 程 且 独立 于 
Xu 和 {U,; t0}, HADITHA 

Cy (tyr) = od Ct — 7) 

(a) 解释 由 YS 估计 X, 时 所 采用 的 卡尔 曼 滤波 
的 原理 。 

(b) FARE HE a. oS. ot. on 和 时 间 t 表达 出 均 方 
估计 误差 和 卡尔 曼 增益 的 表达 式 ， 画 出 
Kalman-Bucy 滤波 器 的 原理 框图 。 

(c) 在 稳 态 假设 (t>cc) 下 回答 以 上 问题 ， 分 别 
考虑 a> (ob ow). @ = Cot oH WRK 
Cot: /on) BITTE 。 





三 下 10 


. 考虑 在 习题 1(b) 中 =0 的 情况 ， 并 用 人 表示 


© 的 估计 值 随 着 TT 的 增加 (6; 可 以 利用 Kalman- 
Bucy 滤波 器 递归 计算 得 到 )。 求 稳 态 情况 
(T->co) 下 卡尔 曼 增益 和 MMSE 估计 结果 。 
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7. 假设 {S,，it 宇 0} 和 {X,，t 宇 0} 是 由 下 面 微分 方 8 已 知 信和 号 模型 如 下 


程 得 到 的 两 个 随机 过 程 X,=—AX,+U,, t>0 

$ =X £20 Y= CX. +N, t>0 

Xc eset 其 中 {N,; 1 宇 0)} 和 {U,; t 宇 0} 相 互 独 立 ， 分别 
初始 条 件 S, AX, 是 相互 独立 的 随机 变量 , 均 。 ”5 是 功率 谱 幅 度 为 g 和 的 高 斯 白 噪 声 ，X 是 
RASEN Gus °). BASS 与 {Ni; t 宇 0} 和 1{U,; t 宇 0) 都 独立 的 高 斯 


过 程 。 

(a) 假设 对 于 所 有 上 有 C:=1， 且 A 的 取 值 为 
ai，a，…，an， 对 应 的 概率 分 别 为 pi 
fis s Pwo RIV G OLL) F X, 
的 稳 态 MMSE 估计 。 


Y,=S,+N,, t>0 
其 中 {NN,; t 宇 0} 是 功率 谱 幅 度 为 No/2 WEY 
值 高 斯 白 噪 声 ， 与 S, 和 X 独立 。 
(a) 求解 Riccati 微分 方程 ， 得 到 下 面 的 误差 向 








量 的 协 方差 矩阵 k (b) 假设 C; = sin lwt) H. A 为 正常 数 ， 求 指 定 
oii {Y,; 0<s<t) F X 的 稳 态 MMSE 估计 ( 注 
X.— X, 意 ， 这 不 是 时 不 变 滤波 器 ) 。 
其 中 人 =E(S, | Yi}, X,=E(X, | Y5). 9. 用 式 (7. 3.73) 的 滤波 器 解 因果 Wiener-Hopf #7 
(b) 假设 关于 S 和 X, 的 初始 信息 较 少 ， 即 在 FECT. 3. 69). 


一- 一 -= 的 情况 下 估计 S AL, 。 10. 证 明 式 (7. 4. 44). 
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